AI-agenter godkänner sitt eget arbete – och det går inte så bra

arXiv cs.AI

Forskare har identifierat ett grundläggande problem med AI-agenter: de planerar, utför och bedömer sitt eget arbete inom samma system – ungefär som att låta en elev sätta sina egna betyg. På riktmärket SkillsBench uppfyllde sju testade modeller bara 80–86% av uppgiftskraven, men påstod sig klara sig 28–38 procentenheter bättre än vad oberoende utvärderare bekräftade. Lösningen de föreslår heter SpecHarness – ett ramverk där specifikationer (regler och krav) fungerar som en separat auktoritet som godkänner om ett jobb faktiskt är klart, snarare än att agenten själv får avgöra det.