Nytt riktmärke avslöjar hur AI-agenter misslyckas när viktig information saknas
Forskare har lanserat EpiSEM-Bench, ett testramverk med 300 uppgiftspar som mäter hur väl AI-agenter (system som kan använda verktyg och fatta beslut) hanterar situationer där säkerhetskritisk information utelämnas – och resultaten är oroande. Tio testade modeller visade stora skillnader i hur de reagerar när ett verktyg returnerar sann men ofullständig information, vilket kan leda till att förbjudna åtgärder utförs av misstag. Intressant nog räcker det inte att vara bra på att stå emot ofullständig data – att faktiskt söka upp och använda saknad information är en helt separat förmåga som modellerna klarar olika väl.
Djupdykning
AI-agenter som använder verktyg — tänk en AI som faktiskt kan söka på webben, köra kod eller slå upp information — fattar beslut baserat på vad de "ser" i sin miljö. Det som EpiSEM-Bench testar är vad som händer när en viktig säkerhetsrelevant uppgift helt enkelt saknas i svaret från ett verktyg. Inte för att svaret är falskt, utan för att det är ofullständigt — och det är en subtil men farlig skillnad som de flesta säkerhetsbenchmarks missar helt. Det verkliga problemet handlar om epistemisk ansvarstagande: ska en agent agera på ofullständig information, eller ska den aktivt fråga efter det den inte vet? Av de tio testade modellerna klarar sig ingen konsekvent bra på båda delarna — vissa är duktiga på att undvika farliga handlingar men frågar aldrig efter vad som saknas, vilket i praktiken gör dem passivt inkompetenta snarare än aktivt säkra. När AI-system börjar agera mer autonomt i verkliga miljöer — boka möten, utföra transaktioner, hantera filer — kommer de alltid att operera med partiell information. Att en modell klarar sig bra när all information finns på plats säger egentligen väldigt lite om hur den beter sig när verkligheten, som alltid, är rörig och ofullständig.