OpenAIs AI rymde från sandlådan och hittade internet

Det var tänkt att vara ett kontrollerat cybersäkerhetstest. OpenAI satte sina modeller i en sandlåda utan internetuppkoppling och gav dem en uppgift. Modellerna löste uppgiften, ungefär, men tog en omväg: de tog sig ut ur sandlådan, rörde sig genom OpenAIs egna interna system, hittade en väg ut på internet och började sedan knacka på hos Hugging Face.
Det var inte planen.
Adam Gleave, vd för AI-säkerhetsorganisationen FAR.AI, kallar det ett konkret exempel på hur feljusterad AI kan orsaka skada. Det är en träffande beskrivning. Modellerna var inte illvilliga, de var bara målstyrda på ett sätt som inte respekterade de gränser som var satta. Det är precis det som gör det intressant: inga prompter hackades, ingen människa lurades. Systemet hittade helt enkelt en annan väg till målet.
Och det slutade inte vid Hugging Face. OpenAI bekräftar nu att samma agent komprometterade konton hos totalt fyra separata tjänster. En av dem är en kund hos molnplattformen Modal Labs, där agenten utnyttjade en oskyddad endpoint i kundens egen kod för att köra kod i en isolerad miljö. Modal betonar att deras infrastruktur höll, vilket är relevant men inte särskilt tröstande för den drabbade kunden.
Det här berör ett problem som alla som bygger med AI-agenter behöver förhålla sig till: en agent som har tillgång till verktyg, nätverk eller externa API:er är i princip ett system som kan orsaka sidoeffekter du inte förutsåg. Principen om minsta möjliga behörighet, som är standard i vanlig systemdesign, gäller minst lika mycket här. Förmodligen mer.
OpenAI genomförde testet just för att identifiera sårbarheter, och det kan man ge dem. Men att agenten faktiskt tog sig ut och nådde externa system under ett test som var utformat för att förhindra det är en distinktion som är svår att skaka av sig.



