ThinkReset: Ny metod låter AI-modeller "glömma och fortsätta" vid långa resonemang
När AI-modeller arbetar med komplexa problem tenderar de att fylla sitt kontextfönster (det minnesutrymme modellen har tillgängligt) med onödig information – och när utrymmet tar slut börjar modellen gissa svar i stället för att tänka vidare. ThinkReset löser detta genom att låta modellen skriva en komprimerad mellansammanfattning och sedan rensa historiken, så att resonemanget kan fortsätta utan att tappa tråden. Metoden visar förbättrade resultat på flera riktmärken för långt resonemang inom fasta kontextfönster.
Djupdykning
LLM:er som GPT och Claude tänker högt genom att generera långa kedjor av resonemang innan de svarar – men det finns ett hårt tak på hur mycket text de kan hålla i minnet samtidigt (kontextfönstret). ThinkReset attackerar ett specifikt och ofta förbisett problem: när modellen håller på att lösa ett svårt problem och kontextfönstret börjar ta slut, slutar den faktiskt inte tänka bättre – den börjar gissa. Det beror på att belöningssignalen under träning premierar rätt svar, inte processen, så modellen lär sig att kasta in en chansning snarare än att lugnt fortsätta resonera när utrymmet krymper. Lösningen är elegant i sin enkelhet: låt modellen skriva en strukturerad mellansammanfattning – en "interface" – och sedan nollställa kontexten med den sammanfattningen som ny startpunkt, ungefär som att spara ett spel innan du stänger av konsolen. Det som de flesta missar här är att problemet inte handlar om att komprimera bort text mer effektivt, utan om att det saknas ett standardiserat sätt för modellen att kommunicera med sig själv över kontextgränser – och att träningsprocessen aktivt motarbetar tålamod vid dessa gränser. Om det här håller i bredare tester pekar det mot att framtidens riktigt långa resonemang kanske inte löses av ännu större kontextfönster, utan av modeller som lär sig att pausa, summera och fortsätta – mer som hur en människa arbetar med ett svårt problem över flera dagar än som en enkel fråga-svar-session.