Nytt säkerhetsproblem: AI kan skapa skadligt innehåll när text, bild och ljud kombineras

arXiv cs.AI

Forskare har tagit fram Multi2AV-Safety, ett benchmark-test (standardiserat utvärderingsverktyg) för säkerhetsbrister i AI-system som genererar ljud och video – och resultaten är besvärande. Testet, som innehåller 11 024 attackscenarier, visar att nuvarande säkerhetssystem missar skadligt innehåll när det uppstår ur kombinationen av flera till synes oskyldiga indata snarare än en enda uppenbar instruktion. Det intressanta här är att problemet inte handlar om att filtren är dåliga på att känna igen uppenbara hot – utan att de inte kan sätta ihop ledtrådar som spreads across text, bild och ljud simultaneously.