OpenAI:s nya system låter AI:n testa sig själv för säkerhetsbrister

OpenAI Blog

OpenAI har utvecklat GPT-Red, ett automatiserat system för så kallad red teaming (säkerhetstestning där AI försöker lura sig själv) som använder self-play för att hitta svagheter i sina egna modeller. Systemet är designat för att förbättra robustheten mot prompt injection (när användare försöker manipulera AI:n med dolda instruktioner) och andra säkerhetsproblem. Det intressanta här är att OpenAI alltså automatiserar den manuella och dyra process som tidigare krävde mänskliga testare.