Tänker AI-modeller verkligen – eller låtsas de bara?

arXiv cs.AI

Forskare har undersökt om så kallad 'latent chain-of-thought' – där modeller gör dolda beräkningssteg innan de svarar – faktiskt används för att resonera fram svaret. Resultatet är nedslående: i logiska uppgifter hade modellen (COCONUT) ofta redan svaret klart innan tankekedjan ens börjat, och att ta bort kedjan påverkade knappt resultatet. Aritmetik fungerade bättre, men studien visar att läsbara mellansteg i en modells dolda tillstånd inte är bevis på att modellen faktiskt tänker.