Ny attack kan försämra AI-assistenters prestanda utan att generera skadligt innehåll

arXiv cs.AI

Forskare har utvecklat en metod kallad ENDOPROMPT som kan injicera osynliga prefix i instruktioner till AI-modeller och därmed sänka deras prestanda med i genomsnitt 26,8 procentenheter – utan att modellen producerar något uppenbart skadligt. Det intressanta här är att attacken fungerar på oskyddade instruktioner och behöver varken träningsdata med etiketter eller fördefinierade felsvar, vilket gör den svårare att upptäcka och försvara sig mot. Metoden testades på fyra modeller och sju olika benchmark-dataset, och fungerade i 27 av 28 fall.