Forskare varnar: LLM:er resonerar inte – de mönstermatchar
Stora språkmodeller (LLM:er) verkar resonera, men det är en illusion – de identifierar mönster i träningsdata snarare än att faktiskt tänka logiskt, argumenterar en forskare som var med och byggde AlphaGo. Det är en viktig distinktion: ett system som mönstermatchat sig till rätt svar kan misslyckas katastrofalt i situationer det inte sett förut.
Djupdykning
AlphaGo:s berömda "drag 37" under matchen mot Lee Sedol 2016 såg ut som ett misstag – en sten placerad på ett ställe ingen mänsklig spelare skulle välja – men visade sig vara ett genialt strategiskt drag som förändrade hela partiet. Den här historien används ofta för att argumentera att AI verkligen *resonerar*, men författaren (som alltså var med och byggde AlphaGo) menar att vi drar fel slutsats. Stora språkmodeller som GPT-4 eller Claude är statistikmaskiner som är extremt bra på att förutsäga vilka ord som passar ihop baserat på mönster i träningsdata – det är i grunden ett annat fenomen än det AlphaGo gjorde, som faktiskt simulerade miljontals spelscenarier framåt i tiden. Det de flesta missar är att "det låter resonerande" och "det faktiskt resonerar" är två helt olika saker, och att vår hjärna är bedrägligt duktig på att tolka flytande text som tecken på intelligens och förståelse. När en LLM löser ett matteproblem korrekt är det ungefär som när en papegoja säger "jag har ont" – outputen stämmer, men processen bakom är en annan.