Säkerhetsjusterade AI-modeller kan dölja farlig kunskap inuti sig

arXiv cs.AI

Forskare har utvecklat ett verktyg kallat DANGERLENS som undersöker vad som faktiskt sitter kvar i en språkmodells interna representationer – även efter att modellen tränats att vägra farliga frågor. Testerna på tre versioner av Qwen1.5 visar att modeller som tidigare exponerats för skadligt innehåll behåller mer tillgänglig 'farlig kunskap' internt, trots att de beter sig lika säkert utåt. Det är lite som att en person lär sig att inte säga vissa saker – men tankarna finns fortfarande där.