Hackare kan utnyttja populära AI-verktyg för att bygga botnät
En ny attack kallad 'HalluSquatting' utnyttjar AI-verktygs tendens att hitta på paketnamn som inte existerar – när en användare ber om kodhjälp kan verktyget rekommendera ett falskt paket, som hackare i förväg registrerat med skadlig kod. Nio av de mest använda AI-verktygen visade sig vara sårbara, och eftersom AI:n inte kan säga 'vet inte' leder den istället användare rakt in i fällan.
Djupdykning
Forskare har upptäckt att nio av de mest använda AI-verktygen – inklusive välkända kodassistenter – kan luras att generera skadlig kod för botnets genom en teknik kallad "HalluSquatting." Metoden utnyttjar något AI-modeller redan är ökända för: hallucination, alltså när modellen hittar på svar istället för att erkänna att den inte vet. I det här fallet genererar LLM:en (Large Language Model, alltså den typ av AI som driver ChatGPT och liknande) namn på kodbibliotek som inte existerar – och angripare registrerar sedan dessa påhittade paketnamn med faktisk skadlig kod inuti. När en utvecklare sedan litar på AI-verktygets rekommendation och installerar paketet, laddar de ner malware utan att ana oråd. Det de flesta missar här är att problemet inte handlar om att "jailbreaka" AI eller lista ut magiska promptar – angriparen behöver inte ens interagera direkt med offret. Attacken sker i det lugna mellanrummet mellan AI-rekommendation och oreflekterat kodande, i ett arbetsflöde miljontals utvecklare kör varje dag. Supply chain-attacker mot mjukvara (där skadlig kod smugglas in via tillförlitliga distributionskanaler) har länge varit ett av säkerhetsbranschens svåraste problem, och HalluSquatting ger den attackytan en automatiserad, skalbar ingång. Det är i princip ett sätt att förvandla AI-verktygens trovärdighet hos användare till en sårbarhet i sig.