Nytt ramverk håller AI-tester relevanta genom att kontinuerligt försvåra uppgifterna

arXiv cs.AI

Ett problem med att utvärdera AI-agenter är att testerna snabbt blir för enkla – modellerna lär sig i princip svaren utantill. EvoProbe löser detta genom en sluten loop där diagnostik av misslyckanden automatiskt genererar svårare följduppgifter. I tester med 8 modeller på 66 cybersäkerhetsuppgifter sjönk genomsnittsresultaten med 11,8% och andelen godkända med hela 40% när uppgifterna uppdaterades – vilket tyder på att de ursprungliga siffrorna överskattade vad modellerna faktiskt klarar.