Ny metod karantäniserar bakdörrar i AI-modeller istället för att radera dem

arXiv cs.AI

Forskare föreslår en annorlunda approach mot så kallade bakdörrar (dolda sårbarheter) i språkmodeller: istället för att försöka blockera eller ta bort dem, låter man dem bildas men styr dem till en isolerad komponent som sedan kan stängas av vid driftsättning. Metoden, kallad QES, sänker andelen lyckade attacker från 100% till 0–10% i de flesta testscenarier – och det enda som krävs vid driftsättning är att nolla en enda viktparameter. Det är en elegant idé: om du inte kan stoppa en attack från att läras in, kan du åtminstone bestämma var den hamnar.