Forskare: Det är omöjligt att göra LLM:er helt säkra mot attacker
Ett forskarteam presenterade vid ICML – en av AI-världens mest ansedda konferenser – ett papper som hävdar att stora språkmodeller (LLM:er) aldrig fullt ut kan skyddas mot hackning, på grund av ett grundläggande fel i hur de fungerar. Det handlar alltså inte om en bugg som kan patchas utan om en inbyggd sårbarhet i själva arkitekturen. Om det stämmer får det stora konsekvenser för hur säkert vi egentligen kan lita på den här tekniken i känsliga sammanhang.
Djupdykning
Stora språkmodeller som GPT och Claude fungerar genom att ta emot text som input och generera text som output – och det är just där problemet sitter. Forskarna argumenterar att eftersom modellerna inte kan skilja på instruktioner från användaren och data de bearbetar, kan en angripare gömma skadliga kommandon i vilket dokument som helst som modellen råkar läsa. Det kallas "prompt injection" och är lite som om din e-postklient kunde hjärntvätta dig genom att du öppnar ett mejl. Det som gör det här svårare att vifta bort än vanliga säkerhetshål är att det inte handlar om en bugg man kan patcha – det är inbyggt i hur tekniken fungerar på en grundläggande nivå. Det de flesta missar i debatten om AI-säkerhet är att diskussionen oftast kretsar kring vad modellerna *vill* göra – om de är "alignade" med mänskliga värderingar. Men den här forskningen handlar om vad de *kan tvingas* göra av utomstående aktörer, vilket är ett helt annat problem. När företag nu bygger AI-agenter som självständigt bokar möten, läser e-post och hanterar filer, blir varje dokument de agent-systemet rör en potentiell attackvektor. Ju mer autonomi vi ger systemen, desto högre blir insatserna för ett säkerhetsproblem som verkar strukturellt olösligt.