Nytt ramverk förbättrar säkerheten i AI-modeller som hanterar bild och text

arXiv cs.AI

Forskare har tagit fram CNRF – ett system för att göra vision-language models (AI som förstår både bilder och text) bättre på att avvisa skadliga förfrågningar utan att blockera harmlösa sådana. Systemet skapar parade exempel på skadligt och ofarligt innehåll för att ge riskbedömningar ett faktiskt underlag, och uppnår 86–89% framgångsgrad mot fem typer av så kallade jailbreaks (försök att lura modellen att ignorera säkerhetsregler) på tre olika modeller. Det intressanta är egentligen filosofin: istället för att lära modellen var gränsen går, bygger man konkreta bevis för varje enskilt beslut.