Nytt ramverk identifierar när AI-agenter bryter mot uppgiftskrav trots korrekta minnesloggar

arXiv cs.AI

Forskare pekar på ett förbisett problem i system med flera AI-agenter: att minnesposter är korrekta räcker inte för att avgöra om agenterna faktiskt utförde sina uppgifter korrekt. Deras ramverk CAVERT analyserar exekveringsbevis i loggar och lyckas skilja på regelföljande och regelbrytande körningar i 97,9% av fallen efter att relevanta bevis återställts – jämfört med 82,4% förväxlingsgrad utan dem. CAVERT slår också befintliga LLM- och regelbaserade metoder i samtliga 12 testmiljöer, vilket antyder att dagens agent-gränssnitt behöver spara mer detaljerad exekveringsinformation.