Nya rön: Korta kontexter fungerar lika bra som långa – och kostar upp till 7 gånger mindre
Forskare visar att stora språkmodeller (LLM) inte behöver långa kontexter för att prestera bra – genom att regelbundet komprimera och rensa kontextfönstret tappar modellerna nästan ingen noggrannhet alls. Kostnadsaspekten är intressant: att generera tokens sent i ett långt kontextfönster kan kosta upp till 7 gånger mer än tidiga tokens. Det väcker en rimlig fråga om hela branschtrendens fokus på allt längre kontextfönster verkligen är motiverad.
Djupdykning
Token 7 av 8192 kostar alltså sju gånger mer att generera än token 1 – det beror på att transformermodeller (AI-arkitekturen bakom de flesta stora språkmodeller) måste "titta på" hela sin kontexthistorik för varje nytt ord den producerar, vilket gör beräkningskostnaden exponentiell snarare än linjär. Det den här forskningen visar är att du kan kompaktera – alltså sammanfatta och kasta bort – konversationshistoriken regelbundet, och modellen tappar knappt i precision på komplexa uppgifter. Det som de flesta missar är att hela kapprustningen kring långkontext (Gemini 1.5 med en miljon tokens, Claude med 200k, med flera) kanske bygger på en felaktig premiss: att modellen faktiskt *behöver* komma ihåg allt den gjort för att fortsätta göra det bra. Konceptet de kallar SSSM – semantiska tillståndsmaskiner – är ett försök att beskriva ett nytt paradigm där AI-agenter arbetar mer som en människa med anteckningsblock än som någon med fotografiskt minne: du behöver inte minnas exakt vad du skrev i rad 47 av koden, du behöver en bra summering av vad koden *gör*. Om det håller i bredare tester ritar det om kostnadskalkylen för att driftsätta AI-agenter i produktion ganska radikalt.