Vilket internt signal avslöjar faktiskt en prompt-attack?

arXiv cs.AI

Forskare har jämfört fem olika metoder för att upptäcka prompt-injektioner (när angripare smugglar in dolda instruktioner i text som en AI-modell läser) genom att studera modellernas interna aktivitet. Den mest träffsäkra metoden, Attention Tracker, nådde 0,949 AUROC på Qwen3-35B – men det intressanta är att olika metoder fångar helt olika saker: vissa hittar injektionen tidigt men missar om den faktiskt lyckas, medan signaler nära modellens svarsgenerering verkar bättre på att skilja lyckade attacker från misslyckade.