Psykologiska metoder testade för att hitta rasbiaser i ChatGPT

arXiv cs.AI

Forskare lånade ett klassiskt psykologitest (Implicit Association Test) för att undersöka om ChatGPT visar olika sentiment beroende på vilken ras som nämns i en fråga – totalt 378 svar från GPT-3.5T, GPT-4 och GPT-4T analyserades. Resultatet var magert: en svag statistisk effekt dök upp i en analys men försvann i en känslighetskontroll, och inga enskilda rasgrupper skilde sig signifikant åt. Det intressanta är egentligen metodfrågan – hur mäter man bias i en språkmodell på ett robust sätt, och kan psykologins verktyg verkligen översättas till AI-forskning?