Nytt ramverk tränar AI-vakter att stoppa policyöverträdelser med 40–44% färre lyckade attacker

arXiv cs.AI

Forskare har byggt AgentPolicyForge, ett ramverk för att träna så kallade 'policy guards' – små modeller som övervakar att AI-agenter följer regler för vilka verktyg och resurser de får använda. Problemet de löser är konkret: att bara skriva reglerna i agentens prompt fungerar dåligt, medan en tränad vakt minskar lyckade regelbrott med 40–44% jämfört med enbart promptbaserad styrning. Träningsdatasetet PolicyGym innehåller 698 scenarier och det intressanta är att alla regelbrott sker med tillåtna verktyg – det är argumenten och kontexten som avgör om något är fel, inte verktyget i sig.