Forskare vänder hackerteknik mot hackarna själva
Säkerhetsforskare på Tracebit har vänt promptinjektioner – den teknik hackare använder för att lura AI – mot AI-drivna attackverktyg. Metoden kallas 'kontextbombning' och går ut på att gömma falska instruktioner i exempelvis molnmiljöer, vilket får angriparnas AI att avbryta attacken. I tester mot fem stora språkmodeller föll andelen lyckade adminrättighetsattacker från 57 till 5 procent, och fullständiga systemintrång från 36 till 1 procent.
Djupdykning
Promptinjektion är normalt sett hackarens verktyg – du smugglar in instruktioner i text som ett AI-system läser, och får det att göra saker det inte borde. Tracebit har alltså vänt detta på huvudet och gjort försvararnas honeypots (falska lockbeten designade för att lura angripare) intelligenta nog att slå tillbaka mot de AI-agenter som numera används för att automatisera intrång. Siffrorna är anmärkningsvärda: från 57% lyckade privilegieeskaleringar ner till 5% är inte en marginalförbättring, det är ett paradigmskifte i hur honeypot-tekniken kan fungera när angriparna själva är AI. Det de flesta missar här är att det här avslöjar en strukturell svaghet i hur AI-drivna hackningsverktyg byggs – de litar för mycket på vad de läser i miljön de infiltrerar, utan att ifrågasätta om informationen är en fälla. En mänsklig hackare med erfarenhet skulle kanske ana bjudmat, men ett AI-system som optimerats för att effektivt bearbeta och agera på kontext saknar den intuitiva misstänksamheten. Det skapar en intressant kapprustning: ju mer sofistikerade AI-angriparna blir på att känna igen kontextbomber, desto mer sofistikerade måste lockbetena bli – och vi har egentligen bara sett det första draget i det spelet.