Sapien: ett säkerhetssystem som håller AI-agenter i schack

arXiv cs.AI

Forskare har byggt Sapien, en 'policy-motor' som övervakar vad en AI-agent faktiskt får göra – inte bara vilka verktyg den har tillgång till, utan i vilken ordning och i vilket sammanhang den får använda dem. I tester blockerade systemet 93–95% av attacker på benchmark-testet AgentDojo och 62–85% på Toolathlon, även när agenten var fullständigt kaprad (prompt injection). Det intressanta är att säkerheten kostar nästan ingenting i prestanda – agenten klarar sina uppgifter nästan lika bra som utan begränsningar.