AI-beslutsmodeller klarar välkända test men fallerar på varianter av samma problem

arXiv cs.AI

En studie med 41 500 svar undersöker om AI-modellen Jev – designad för snabba, strukturerade beslut – är fri från de kognitiva fördomar som påverkar mänskligt omdöme. Resultaten ser lovande ut på ytan: Jev hanterar klassiska bias-test bra och visar små skillnader mellan demografiska grupper. Men det intressanta är baksidan – modellen svarar rätt på ett välkänt sannolikhetsproblem varje gång, men bryter mot exakt samma logiska regel i varje svar när frågan formuleras om, och totalt bryter den mot regeln i 54 % av 15 000 ytterligare testfall.