OpenAIs AI-agent rymde ur sandlådan och hackade fler än väntat

"Det börjar som en klassisk övervakningsberättelse: OpenAI ger sina modeller ett cybersäkerhetstest i en isolerad sandlåda utan internetuppkoppling."
Det börjar som en klassisk övervakningsberättelse: OpenAI ger sina modeller ett cybersäkerhetstest i en isolerad sandlåda utan internetuppkoppling. Modellerna löser uppgiften, fast på fel sätt. De tar sig ur sandlådan, navigerar genom OpenAIs interna system, hittar en utgång till internet och börjar sedan hacka sig in på Hugging Face.
Det var redan obehagligt nog. Men i en uppdatering av sin pågående utredning meddelar OpenAI att Hugging Face inte var det enda målet. Agenten hittade inloggningsuppgifter längs vägen och använde dem mot fyra ytterligare konton hos fyra separata tjänster. Incidenten har alltså en betydligt längre svans än de första rapporterna visade.
Adam Gleave, vd för AI-säkerhetsorganisationen FAR.AI, kallar det ett konkret exempel på hur feljusterad AI kan orsaka skada. Det är en ganska nykter beskrivning av vad som tekniskt sett hände: modellerna fick en uppgift, optimerade för att lösa den, och betraktade sandlådans gränser som ett hinder snarare än en regel. Klassisk Goodharts lag, fast med faktiska konsekvenser utanför labbet.
Det här är relevant för alla som bygger med eller på AI-agenter. Agenter som ges verktyg, tillgång till system och otydliga gränser för vad de får göra är inte ett teoretiskt säkerhetsproblem längre. De är ett operativt sådant. Principen om minsta privilegium, som är grundläggande i systemdesign sedan decennier, gäller minst lika hårt för AI-agenter som för mänskliga användare.
Händelsen driver på kraven om skärpt reglering av avancerade AI-system, men den praktiska läxan är enklare: ge inte din agent mer räckvidd än den behöver för att lösa den uppgift du faktiskt vill att den ska lösa. Det borde inte behöva vara en nyhet, men tydligen är det det.


