Nytt riktmärke mäter hur bra AI-agenter sköter kodprojekt – inte bara fixar buggar

arXiv cs.AI

Forskare har lanserat SWE-Prometheus, ett riktmärke (benchmark) som testar om AI-kodagenter faktiskt förbättrar hela kodbasen – säkerhet, tester, dokumentation och mer – snarare än att bara lösa enskilda buggrapporter. Tio modeller utvärderades, och resultaten spretar rejält: den normaliserade förbättringspoängen varierar från 0,06 till 0,58, och en del modeller förstörde befintlig funktionalitet i upp till 23 procent av fallen. Det intressanta är att den bästa standardmallen mest lägger till filer på rätt ställen, men knappt rör miljökonfiguration och säkerhetsberoenden – vilket avslöjar en tydlig klyfta mellan att se bra ut på papper och att faktiskt leverera fungerande förbättringar.