Nytt riktmärke visar att AI-kodagenter presterar olika beroende på konversationslängd

arXiv cs.AI

Forskare har tagit fram UserSWE, ett nytt sätt att testa AI-kodagenter i realistiska flerstegskonversationer – till skillnad från dagens tester där agenten får all information på en gång. Testerna på 72 uppgifter från 42 kodrepon visar en intressant poäng: Claude Fable 5.1 är bäst på att lösa buggar i ett enda steg, men GPT-6-Astra tar täten om man ger agenten åtta omgångar att jobba med. Det tyder på att hur en agent presterar i ett enkelt test säger ganska lite om hur den faktiskt fungerar i vardaglig användning.