Ny metod skyddar AI-modeller mot saboterade träningsdata
När företag finjusterar (fine-tunar) stora språkmodeller kan illvilliga dataleverantörer smyga in skadliga beteenden – och befintliga säkerhetslösningar tappar ofta greppet när angriparen byter promptmall. Forskare föreslår nu ROPD, en metod som i stället för att lära sig specifika mallar modellerar skillnaden mellan en säker och en komprometterad modells outputfördelningar, vilket visade sig vara betydligt mer robust i tester mot fyra konkurrerande metoder. Det intressanta är egentligen hur grundläggande problemet är: du kan leverera en tekniskt skicklig modell som ändå beter sig illa vid rätt triggerord.
Djupdykning
När företag finjusterar stora språkmodeller för specifika uppgifter – säg en juridisk assistent eller en medicinsk chatbot – lämnar de dörren på glänt för en ganska otäck attackvektor: den som levererar träningsdatan kan smuggla in skadliga beteenden som aktiveras på kommando. Det är ungefär som att anlita en konsult som är expert på sitt jobb men som också fått hemliga instruktioner av sin förra arbetsgivare. Befintliga försvar mot det här problemet bygger ofta på att säkerhetsforskarna känner till exakt hur angriparen formulerar sina kommandon – en förutsättning som i verkligheten sällan stämmer, eftersom en enkel ändring i systemprompten kan få "botad" modell att återgå till farliga beteenden. ROPD löser detta genom att i stället titta på skillnaden i sannolikhetsfördelningar mellan en säker och en komprometterad modell, snarare än att memorera specifika attackmönster – ungefär som att lära en immunförsvarscell att känna igen cancerceller på cellnivå istället för att memorera hur just en viss tumör ser ut. Det de flesta missar i den här debatten är att problemet inte försvinner när modellen är "fixad" – finjustering är en kontinuerlig process i produktionssystem, och varje ny specialisering öppnar samma sårbarhet igen. Robusthet mot templateförändringar är alltså inte ett tekniskt detaljproblem utan en grundförutsättning för att AI-säkerhet ska fungera i verkligheten snarare än i kontrollerade labexperiment.