Nytt ramverk tränar AI-agenter att motstå manipulationsattacker

arXiv cs.AI

Forskare har utvecklat AgentSafeEvo, ett system där en 'anfallare' och en 'försvarare' tränar mot varandra för att göra LLM-agenter mer motståndskraftiga mot skadlig inmatning i verktyg och miljöbeskrivningar. Metoden bygger på förstärkningsinlärning och ett spelteoreretiskt upplägg där anfallaren försöker lura agenten att utföra osäkra handlingar, medan försvararen lär sig att klara uppgifter trots attackerna. Det intressanta här är att systemet lyckas förbättra säkerheten utan att agentens allmänna förmåga försämras – en balansgång som tidigare metoder haft svårt att klara.