AI-säkerhetstester är mer slumpmässiga än vi trott

arXiv cs.AI

Forskning visar att 18–28% av skadliga frågor till stora språkmodeller får olika svar beroende på slumpmässiga inställningar – samma modell kan alltså vägra en fråga ena gången och svara på den nästa. Studien testade fyra modeller (Llama 3.1 8B, Qwen 2.5 7B, Qwen 3 8B och Gemma 3 12B) och fann att dagens standard för säkerhetsutvärdering – att ställa en fråga en enda gång – stämmer med det faktiska beteendet bara 92,5% av tiden. Det som egentligen är intressant här är implikationen: att en modell 'klarar' ett säkerhetstest säger kanske inte så mycket som vi hoppats.