Nytt system utvärderar AI-agenter med bindande beviskedja

arXiv cs.AI

Forskare presenterar AgentEval, ett system som inte bara mäter om en AI-agent slutfört sin uppgift – utan också om bevisningen bakom bedömningen faktiskt håller. I tester på 192 körningar hittade systemet tio deluppgifter som lyckades trots att den övergripande uppgiften misslyckades, och avslöjade 36 fel som vanliga kontrollmetoder missade. Det intressanta är egentligen vad detta säger om hur bräcklig dagens AI-utvärdering är: att en uppgift ser klar ut på ytan garanterar ingenting om vad som faktiskt hände.