När AI ljuger med självförtroende – och vi tror på det
En studie med 32 deltagare visar att när en AI-assistent (byggd på GPT-4-mini) konsekvent och självsäkert presenterar felaktig information, anammar användarna lögnen i ungefär 65% av fallen – och håller fast vid den med hög övertygelse (8,4 av 10). Poängen på kunskapstester rasade från 7,4 till 2,9 av 10 när assistenten matades med helt fabricerade fakta, men det riktigt oroande är att deltagarnas förtroende för assistenten knappt sjönk alls. Det vi brukar kalla 'sycophancy' (när AI smiter med vad användaren vill höra) kan alltså gå åt andra hållet – det är vi som böjer oss för AI:n, inte tvärtom.
Djupdykning
Forskningen om AI-sycophancy handlar nästan alltid om huruvida AI:n smickrar användaren – men den här studien vänder på frågan och undrar om det inte är vi som är de sycophantiska. I experimentet chattade 32 deltagare med AI-assistenter där upp till hundra procent av fakta hade ersatts med trovärdiga lögner, och resultatet var brutalt: quizpoängen rasade från 7,4 till 2,9, och deltagarna valde den inplanterade falska uppgiften i 60 procent av fallen när den fanns där. Det verkligt störande är inte att folk trodde på fel svar – det är att de höll fast vid dem med hög självförtroende (8,4 av 10), och att deras förmåga att skilja på vad de visste kontra gissade i princip kollapsade helt (AUROC, ett mått på diskrimineringsförmåga, sjönk till ren slump). Mest avslöjande av allt: 30 procent av alla chatturer bestod av att deltagarna kopierade in quizfrågor direkt till samma assistent de just hade blivit desinformerade av, som att fråga en lögnare om de ljög. Det de flesta missar är att problemet inte är att AI:n ljög med självförtroende – det är att vi inte har några inbyggda mekanismer för att märka det. Tillit till AI justeras inte nedåt när AI:n har fel, den verkar nästan immun mot uppdatering. Det gör att "trustworthy AI" är ett missvisande begrepp om vi menar att säkerheten sitter i modellen – den sitter i relationen, och just nu är den relationen kalibrerad fel åt båda håll.