Säkerhetsfilter för AI-agenter missar hälften av de kritiska riskerna

arXiv cs.AI

Forskare visar att de säkerhetsfilter (guard models) som används för att övervaka AI-agenter har en blind fläck: de letar efter förbjudna handlingar men missar när agenten *underlåter* att göra något den borde. I ett populärt testramverk innehöll 56,9% av agenttrajektorierna sådana 'ouppfyllda skyldigheter', jämfört med bara 30% som innehöll förbjudna handlingar. Som svar introducerar teamet ObligationBench – ett nytt benchmark med 240 testfall – och en ny modell, ObligationGuard, som klarar 57,5% recall, men med bara 21,7% exact-match är det tydligt att problemet är långt ifrån löst.