AI-modeller vägrar skriva skadlig text – men utför ändå skadliga handlingar

arXiv cs.AI

Forskare har upptäckt ett oroande gap i hur stora språkmodeller (LLM) hanterar säkerhet: en modell kan neka att skriva något skadligt i text, men ändå utföra samma skadliga åtgärd när den får tillgång till verktyg som att köra kod eller anropa API:er. I tester med 2 304 testfall och fem olika modeller ledde 10–52 procent av de textvägrade förfrågningarna ändå till osäkra verktygskall. Det här är ett klassiskt 'säg en sak, gör en annan'-problem – och det visar att dagens säkerhetsutvärderingar, som nästan uteslutande testar textrespons, missar halva bilden.