Nytt ramverk hjälper språkmodeller tänka längre utan att spåra ur

arXiv cs.AI

Forskare har identifierat två systematiska fel som uppstår när stora språkmodeller (LLM) försöker lösa komplexa, långa resonemangkedjor: de lockas mot felaktiga vägar tidigt, och små misstag hopar sig längs vägen. Deras lösning, SAGE, testad på 12 riktmärken och 7 modelltyper, ger upp till 8 gånger bättre resultat på ett känt matematiskt problem (Andrews-Curtis-problemet) som tidigare been svårt att knäcka automatiskt. Det intressanta är inte bara siffrorna – utan att de använder hyperbolisk geometri (ett sätt att representera trädliknande strukturer mer effektivt) för att ge modellen bättre vägledning djupt inne i resonemanget.