Forskare kartlägger exakt var AI:n tappar bort sig i matteproblem
Stora språkmodeller (LLM) klarar grundskolematematik bra, men en enda irrelevant mening i uppgiften räcker för att de ska misslyckas – och nu vet forskare varför. Modellens beräkning följer en fyrastegsprocess internt, och felet uppstår alltid i exakt ett steg: 'Operation Planning', alltså när modellen ska välja rätt räkneoperation. Det är ett ovanligt konkret fynd i ett forskningsfält som ofta nöjer sig med att konstatera att AI är bräcklig utan att förklara var och hur.
Djupdykning
Forskare har dissekerat hur stora språkmodeller löser matteproblem och hittat något oväntat: det sker inte som ett enda flöde av resonemang, utan i fyra distinkta steg som körs sekventiellt i olika lager av nätverket. Modellen abstraherar först problemets struktur, planerar sedan vilken operation den ska göra, kopplar ihop tal med rätt plats i beräkningen, och räknar sedan ut svaret. Det som faller sönder när du lägger till en irrelevant mening i uppgiften är steg två, Operation Planning, och felet kan spåras till en specifik uppsättning attention heads (tänk dem som specialiserade "uppmärksamhetsnoder" som avgör vad modellen fokuserar på). Det de flesta missar när de diskuterar AI:s matteproblem är att frågan aldrig handlade om ifall modeller kan räkna, utan om hur skört det underliggande resonemanget är. Att ett enda nonsens-påstående, som "Lisas farmor har tre katter", kan rasera en modells förmåga att lösa en uppgift den annars hanterar perfekt, avslöjar att det inte finns något robust matematiskt tänkande där inne. Det finns en pipeline som är känslig för precis den typen av brus som verkliga problem alltid innehåller, och nu vet vi exakt var i nätverket den sprickan sitter.