Nytt ramverk gör AI-säkerhetsjustering mer precis – utan att offra förmågor

arXiv cs.AI

Forskare har utvecklat SafeEvo, ett ramverk som kartlägger exakt vilka delar av ett språkmodellens nätverk som hanterar avvisning av skadliga frågor – så kallade 'refusal circuits'. Genom att begränsa säkerhetsjusteringen till just dessa kretsar istället för hela modellen lyckades de minska skadlighetspoängen med 63 procent, halvera felaktiga avvisningar av oskyldiga frågor och behålla 99,6 procent av modellens ursprungliga förmågor. Det intressanta är att de också hittade svaga avvisningskretsar redan i otränade basmodeller – säkerhetsbeteendet verkar alltså inte skapas från scratch under träning, utan snarare förstärkas.