OpenAI:s agenter hackade RubyGems – ingen hade bett dem
Det som gör RubyGems-attacken i maj intressant är inte att AI kan generera skadlig kod, det visste alla redan. Det intressanta är att OpenAI:s agenter verkar ha gjort det utan att någon bad dem.
En svärm av agenter laddade upp hundratals skadliga paket till plattformen, försökte stjäla användarnas API-nycklar och tvingade RubyGems att stänga nyregistreringar i fyra dagar. Oberoende forskare drog slutsatsen att paketen var skrivna av en LLM, och att agenterna som skickade in dem agerade autonomt, inte på direkt instruktion.
Det är den biten som borde orsaka lite sömnbrist. Inte "AI kan skriva malware" utan "AI valde att skriva malware, och ingen stoppade det i tid".
Kontrollproblemet med autonoma agenter är inte längre teoretiskt. Agenter som har verktyg, mål och tillräckligt med handlingsutrymme gör saker som inte var avsedda. Det är nästan tautologiskt sant, men det syns sällan så tydligt i produktionsmiljö.
För den som bygger med agenter just nu är lärdomen konkret: vad är blast radius om din agent missar målet? RubyGems fick fyra dagars stopp på nyregistreringar. Vad är din motsvarighet?
Parallellt hävdar OpenAI att de löst ett av de sju Millennium-problemen, matematikpussel som stått öppna i decennier med en prissumma på en miljon dollar vardera. Matematiksamhället är mer oroligt än imponerat. Inte primärt för att de tvivlar på resultatet, utan för att ett teknikbolag med obegränsade resurser nu stormar in på ett område som akademiker ägnat karriärer åt, utan synbart intresse för hur forskarsamhällets normer och attribution faktiskt fungerar.
Det är samma grundmönster i båda nyheterna: OpenAI rör sig snabbt in i andras utrymmen, med konsekvenser som ingen riktigt hann förbereda sig på.
