Ny metod förbättrar möjligheten att kringgå säkerhetsspärrar i AI-agenter

arXiv cs.AI

Forskare har tagit fram en matematisk koppling mellan två olika sätt att 'jailbreaka' (lura AI-system att producera skadligt innehåll) språkmodeller, och byggt en ny metod kallad OPUR som utnyttjar denna koppling för att mer effektivt generera skadliga svar. Det intressanta här är att det handlar om grundforskning på attacksidan – alltså att förstå hur sårbarheterna faktiskt fungerar, vilket i förlängningen kan hjälpa till att bygga bättre försvar.