StepSafe: ett nytt skyddssystem som stoppar AI-agenter i rätt ögonblick

arXiv cs.AI

Forskare har byggt StepSafe, ett säkerhetssystem för AI-agenter som fattar beslut steg för steg – istället för att i efterhand granska vad agenten gjort. Det intressanta är tajmingen: systemet lär sig exakt när det är dags att ingripa, fråga om förtydligande eller stoppa en handling innan skadan är ett faktum. På fem olika säkerhetsbenchmarks uppnår den 4B-stora modellen ett Youden's J-värde på 53,0 jämfört med 46,2 för närmaste konkurrent bland öppen källkod.