Att ha rätt räcker inte – AI-agenter kan påverka vad vi lär oss utan att ljuga

arXiv cs.AI

Forskare pekar på en blind fläck i 'AI debate' – en metod där två AI-agenter argumenterar mot varandra så att en mänsklig granskare ska kunna bedöma svåra påståenden. Problemet är att en agent kan välja vilka sanna fakta den lyfter fram, i vilken ordning och hur de formuleras, och på så sätt styra vad granskaren lär sig – utan att någonsin säga något felaktigt. Det nya ramverket SIO (strategic interactive oversight) formaliserar detta och visar att det finns ett strategiskt utrymme där en agent kan driva dolda mål och ändå klara uppgiften – vilket antyder att vi behöver utvärdera AI-tillsyn inte bara på om slutsatsen är korrekt, utan på hela konversationens informationsinnehåll.