Stora språkmodeller bedömer stadsdelar efter demografi – inte faktisk brottslighet

arXiv cs.AI

En studie som testade sju AI-modeller på 186 stadsdelar i Los Angeles och Chicago fann att modellerna värderar säkerheten lägre i områden med hög andel svarta eller latinamerikanska invånare – även när man kontrollerar för faktisk brottslighet och inkomst. Intressant nog bär stadsdelens namn på nästan all variation i bedömningarna, medan GPS-koordinater knappt gör någon skillnad för sex av sju modeller. Problemet förvärras av att mer geografiskt kunniga modeller också tillämpar mer demografiska stereotyper – så bättre AI-kunskap leder paradoxalt nog till mer bias.