Hur pålitliga är de verktyg vi använder för att utvärdera AI-agenter?

arXiv cs.AI

Forskare har granskat hur väl automatiserade utvärderingsverktyg faktiskt mäter vad AI-agenter gör – och hittat tydliga brister. I ett test med sex olika språkmodeller och 810 körningar visade det sig att mätsystemet för 'verifiering' (om agenten dubbelkollar felaktiga svar) hade fel i 14 av 81 fall jämfört med mänsklig granskning. Det intressanta är att modellerna ibland tyst korrigerar fel räkneresultat utan att explicit kontrollera dem igen – ett beteende som varken godkänd- eller underkänd-stämpeln fångar.