Ny metod låter LLM:er minnas fakta från texter med två miljoner tokens
Forskare har tagit fram ett sätt att ge stora språkmodeller (LLM:er) nästan obegränsat kontextminne utan att GPU-minnesanvändningen ökar – och utan att behöva träna om modellen. Tricket är att återskapa relevant information via interna aktiveringar i modellens feedforward-lager, som fungerar som en sorts lagringsplats för fakta ur källtexten. I tester klarade metoden att besvara faktafrågor i texter på två miljoner tokens, där befintliga metoder misslyckas.
Djupdykning
Forskare har tagit ett fundamentalt annorlunda grepp på ett av LLM-världens mest irriterande problem: ju längre kontext du stoppar in i en modell, desto mer GPU-minne äter den upp – linjärt, utan nåd. Det här pappret föreslår istället att man lagrar "residualvektorer" från modellens feed-forward-lager, vilket är de interna lager som under träning lärt sig representera fakta som komprimerade matematiska mönster snarare än råtext. Idén är elegant: istället för att hålla hela dokumentet i aktivt minne rekonstruerar modellen relevant information från dessa vektorer när en fråga ställs, ungefär som att komma ihåg kärnan i ett möte utan att ha bandupptagningen spelandes i bakgrunden. Det riktigt anmärkningsvärda är att de lyckas besvara faktafrågor i kontexter på två miljoner tokens – en längd där konkurrenter helt enkelt misslyckas – och utan att finjustera modellen överhuvudtaget. Det de flesta missar när de läser om "lång kontext" är att problemet sällan är att modellen inte *kan* hantera lång text tekniskt, utan att kostnaden för att göra det är så absurd att det är praktiskt oanvändbart i produktion. Om den här metoden håller vid bredare testning handlar det inte om att göra AI smartare – det handlar om att göra den ekonomiskt tillgänglig för riktiga användningsfall som juridisk dokumentanalys eller långa medicinska journaler, vilket är en helt annan och mer jordnära revolution.