Nytt säkerhetssystem får AI att ställa frågor istället för att gissa

arXiv cs.AI

Forskare har identifierat ett problem med multimodala AI-modeller (som hanterar både bild och text): när en oskyldig bild kombineras med en oskyldig text kan modellen ändå drifta mot farliga slutsatser. Deras lösning, SAFE-PRO, låter modellen ställa klargörande frågor när situationen är oklar – och presterar bättre än GPT-4o och Claude-3.5-Sonnet i säkerhetstester på sju olika benchmarks, samtidigt som den halverar antalet onödiga avslag. Det intressanta är egentligen frågeställningen: att säkra AI handlar inte bara om att blockera svar, utan om att förstå vad användaren faktiskt menar.