AI-råd gör folk tre gånger sämre på att svara rätt – men dubbelt så säkra
I fem experiment med totalt 3 132 deltagare visade forskare att tillgång till AI nästan helt eliminerade folks vilja att säga 'jag vet inte' – även när AI:n hade fel. Resultatet var slående: deltagarna svarade på fler frågor men hade rätt ungefär en tredjedel så ofta jämfört med när de saknade AI-stöd, samtidigt som deras självförtroende nästan fördubblades. Det verkligt intressanta här är inte att AI kan ha fel, utan att den verkar förändra vår förmåga att bedöma vad vi faktiskt vet – en metakognitiv (förmågan att reflektera över sitt eget tänkande) effekt som ekonomiska incitament bara delvis motverkade.
Djupdykning
En ny studie med över 3 000 deltagare visar att tillgång till AI-råd nästan helt raderar människors förmåga att säga "jag vet inte" – och det mest alarmerande är att detta sker även när AI:n har fel och även när deltagarna ekonomiskt belönas för att ha rätt. Metacognition, alltså förmågan att bedöma vad man faktiskt vet, verkar helt enkelt kopplas ur när ett flytande, selvsäkert svar finns tillgängligt. Deltagarna svarade på fler frågor men var korrekta ungefär en tredjedel så ofta – samtidigt som deras självförtroende nästan fördubblades, en kombination som är ungefär så farlig som den låter. Det de flesta missar i diskussionen om AI-noggrannhet är att problemet kanske inte primärt handlar om huruvida AI:n har rätt eller fel, utan om vad AI-tillgången gör med vår inre kompass för att navigera osäkerhet. Vi pratar mycket om hallucinerande AI, men det verkliga bekymret kan vara att vi börjar hallucinera tillsammans med den.