Försvarare använder nu prompt injection mot AI-hackare

Ars Technica

Säkerhetsforskare har börjat använda 'context bombing' – en teknik som överbelastar AI-agenter med irrelevant text – för att lura skadliga hackingagenter att stänga ner sig själva innan de hinner göra skada. Det är en intressant vändning: samma typ av prompt injection-attacker som används för att manipulera AI-system håller nu på att bli ett försvarsverktyg. I grunden handlar det om att slå angripare med deras egna vapen.

Djupdykning

Säkerhetsforskare har börjat vända AI-angriparnas egna vapen mot dem – ett fenomen som kallas "context bombing." Tekniken går ut på att fylla ett hackerverktygs kontext (alltså det minnesutrymme där AI-agenten håller koll på vad den håller på med) med så mycket brus, motstridiga instruktioner eller falsk information att agenten i princip tappar tråden och stänger ner sig själv. Det är en direkt motreaktion på prompt injection-attacker, där angripare gömmer dolda instruktioner i text för att manipulera AI-system att göra saker de inte borde. Det de flesta missar här är att detta inte är en permanent lösning – det är en vapenkappslöpning i realtid. Samma logik som gör context bombing effektiv mot dagens hackerbotar kommer att vara inbyggd som en känd svaghet som nästa generation av AI-agenter tränas att motstå. Vi pratar egentligen om att försvaret just nu råkar ligga ett halvsteg före, inte att problemet är löst. Det påminner lite om de tidiga dagarna av e-postskräpfilter, när det räckte att skriva "V1agra" för att lura systemen – tills det inte räckte längre.