AI-modeller dåliga på att erkänna när de är osäkra – och det kostar

arXiv cs.AI

När AI-modeller som GPT-4.1 och GPT-5 är osäkra på vad en instruktion syftar på, ber de om förtydligande på bara 3,5–16,7% av fallen – och i en användarstudie (210 deltagare) accepterade folk 78% av AI:ns felaktiga placeringar när modellen inte signalerade sin osäkerhet. Det intressanta är att välformulerade osäkerhetsmarkeringar faktiskt hjälper: de sänkte acceptansen av felaktiga drag till 36%, men bara om markeringarna träffar rätt – en slentrianmässig hedge baserad på modellens egna sannolikheter kan faktiskt göra mer skada än nytta.