AI-domare fuska när referensen saknas – ny metod fixar problemet

arXiv cs.AI

När AI-agenter anropar verktyg (tool-calls) behöver en 'domar-modell' bedöma om argumenten är korrekta – men forskning visar att domarna ofta avvisar rätt svar om de inte kan hitta en tydlig referens i sin input, ett fenomen som kallas 'derivation gap'. Det gäller alla sju testade domarmodeller, och problemet är störst för standardvärden som användaren aldrig nämnde. Lösningen, DeRef, låter en separat modell skriva en referens åt domaren i förväg, vilket lyfter träffsäkerheten (AUROC) från nästan slumpmässig nivå till 98–99,6 procent på kontrollerade tester.