Transformer-modeller har internkartor – men hittar ändå fel
Forskare har undersökt varför en transformer-modell (TaxiGPT) tränad på att navigera Manhattan ofta misslyckas – och fann att modellen faktiskt har en fungerande intern karta med korsningar och gator, men att 'interferens' mellan överlappande representationer stör lokaliseringen. Det intressanta skiftet här är från frågan 'har modellen en världsmodell?' till 'hur fungerar den i praktiken?' – ett mer användbart sätt att förstå vad som faktiskt händer inuti dessa system.
Djupdykning
TaxiGPT är en AI-modell tränad på att navigera Manhattan-gator, och forskarna bakom den här studien hittade något oväntat: modellen hade faktiskt lärt sig en intern karta över staden, komplett med korsningar, gator och en slags inbyggd kompass – men den navigerade ändå fel ibland. Det kluriga är att dessa misslyckanden inte berodde på att kartan saknades, utan på att olika platser "smälte ihop" i modellens representationer, ett fenomen de kallar "superposition" där flera saker delar samma utrymme i nätverket och stör varandra. Det här utmanar en av de vanligaste frågorna inom AI-forskning just nu – har stora språkmodeller en verklig förståelse av världen? – och svaret verkar vara att det är fel fråga att ställa. Modeller kan ha sofistikerade interna representationer av sin omgivning och ändå bete sig på sätt som ser ut som total okunskap, vilket betyder att vi i decennier kan ha felbedömt vad AI faktiskt "vet" baserat på vad den gör snarare än vad som sker inuti. Det här öppnar för en obehaglig möjlighet: att vi idag styr AI-utvecklingen baserat på beteendetester som systematiskt underskattar – eller ibland överskattar – vad som faktiskt pågår under huven.