Ny träningsmetod förbättrar AI:s förmåga att lösa flerstegsproblem
Forskare föreslår 'Tropical Reinforcement Learning', en träningsmetod för språkmodeller som i stället för att summera sannolikheter väljer den bästa lösningsvägen – ungefär som att spara den smartaste genvägen i minnet snarare än ett genomsnitt av alla försök. Den praktiska implementationen, kallad TROPIC, testades på fyra uppgifter och slog de bästa jämförbara metoderna med upp till 16 procentenheter. Tricket är egentligen algebraiskt: man byter ut ett plustecken mot ett max-tecken, vilket visar sig göra stor skillnad när modellen måste sätta ihop svar från flera separata resonemangssteg.
Djupdykning
Standardförstärkningsinlärning för språkmodeller fungerar ungefär som ett demokratiskt omröstningssystem — varje fungerande lösning adderas ihop, och den totala sannolikheten fördelas över alla möjliga vägar fram till målet. Problemet är att om modellen hittar två olika sätt att lösa ett problem, och tränas att föredra det ena, kan det bokstavligen "glömma" det andra — inte för att det var fel, utan för att matematiken tvingar sannolikheterna att summera till ett. Tropical RL byter ut addition mot maximum-operationen, vilket i praktiken betyder att systemet håller reda på den *bästa* bekräftade lösningen och dess faktiska steg, snarare än en statistisk blandning av alla försök. Det kluriga är sedan att man kan sy ihop den bästa inledningen från ett försök med den bästa avslutningen från ett annat — som att plocka de starkaste legoblocken från olika misslyckade byggen och montera dem till något som faktiskt håller. Det de flesta missar i debatten om varför LLM:er är dåliga på flerstegslogik är att problemet ofta inte sitter i modellarkitekturen utan i träningsalgebran — alltså de matematiska grundantaganden som hela inlärningssignalen vilar på. Att byta semiring (den algebraiska struktur som definierar hur sannolikheter kombineras) låter obetydligt men är ungefär som att byta ut grunden i ett hus: allt ovanpå ser likadant ut, men stabiliteten förändras fundamentalt.