AI-faktakoll dömer olika beroende på kön – upp till 35% av bedömningarna är inkonsistenta
När forskare testade sex stora språkmodeller på att avgöra om nyheter är falska, visade det sig att modellerna ändrar sina svar beroende på om en talare presenteras som man, kvinna eller könsneutral – i upp till 35% av fallen. Det intressanta är att fem av sex modeller visade en systematisk tendens att vara mer skeptiska mot manliga talare. Det väcker en viktig fråga: om AI ska användas för faktakoll i stor skala, måste vi förstå vilka omedvetna mönster som redan bakats in.
Djupdykning
Forskare testade sex av de mest avancerade språkmodellerna på en klassisk uppgift – att avgöra om ett påstående är falskt eller sant – men med en twist: de bytte bara ut jobbtiteln på den påstådda avsändaren till en manlig, kvinnlig eller könsneutral variant. Allt annat var identiskt. Resultatet? Upp till 35 procent av påståendena fick olika bedömningar beroende på vilket kön avsändaren uppfattades ha, vilket i praktiken betyder att modellerna dömer samma uttalande som sant eller falskt baserat på vem som verkar ha sagt det, inte vad som faktiskt sägs. Det som de flesta missar i debatten om AI och bias är att vi ofta pratar om det som ett statistiskt jämlikhetsproblem – "modellen diskriminerar grupp X" – men den här studien visar något subtilare och faktiskt värre: instabilitet. En modell som systematiskt är hårdare mot kvinnor är ett problem, men en modell som slumpmässigt byter åsikt beroende på kön är ett tillförlitlighetsproblem som gör hela systemet oanvändbart för faktakontroll. Du kan inte lita på ett verktyg vars dom beror på information som borde vara irrelevant. Det intressanta mönstret är att de flesta modeller visade "male-skeptic bias" – alltså att påståenden kopplades till manliga avsändare bedömdes hårdare, inte tvärtom – vilket går emot den intuitiva föreställningen om hur könsbias brukar se ut. Det kan bero på träningsdata där män är överrepresenterade i politiska sammanhang och därmed också i exempel på politiska lögner, men det är fortfarande spekulation. Den praktiska konsekvensen är ändå densamma: om dessa modeller används i verkliga faktakontrollsystem, vilket de redan börjar göra, så avgör en könsmarkör i en jobbtitel om ett påstående flaggas som desinformation.