Nytt riktmärke testar hur bra AI-domare är på att granska långa datoruppgifter

arXiv cs.AI

Forskare har lanserat AgentHorizon, ett riktmärke (benchmark) med 1 373 datoruppgifter inspelade under 166 timmar, för att testa hur väl AI-system kan avgöra om en annan AI faktiskt slutförde sin uppgift korrekt – eller bara verkade göra det. Det visar sig vara svårare än det låter: den bästa testade modellen, GPT-4.5, nådde bara 80,9% träffsäkerhet, och öppen-källkodsmodeller presterade sämre när de fick tillgång till verktyg. Det intressanta här är att ju mer autonoma AI-agenter vi bygger, desto mer behöver vi lita på andra AI-system för att kontrollera dem – och den tillförlitligheten är alltså långt ifrån självklar.