Ny metod komprimerar minneskrävande AI-modeller med 3,9 gånger utan att tappa precision
Forskare har tagit fram FreqDepthKV, en teknik som minskar minnesanvändningen i stora språkmodeller (LLM) när de hanterar långa texter – ett växande flaskhalseproblem. Metoden delar upp minnescachen (KV cache, den del som lagrar tidigare beräkningar) i lågfrekventa delade komponenter och glesa högfrekventa rester, vilket ger 3,9 gångers komprimering och sänker minneskravet till 6,2 GB utan att prestandan rasar nämnvärt. Det intressanta är att det funkar utan att träna om modellen – komprimeringslogiken anpassar sig dynamiskt till innehållet i prompten.
Djupdykning
KV-cachen är den del av minnet där en språkmodell lagrar sitt "arbetsminne" under en konversation – varje token den har sett sparas där så att modellen slipper räkna om allt från scratch vid varje nytt ord. Problemet är att denna cache växer linjärt med kontextlängden, och med 32 000 tokens börjar det bli kostsamt på allvar. FreqDepthKV löser detta genom att låna ett trick från signalbehandlingen: dela upp informationen i lågfrekventa komponenter (det stabila, återkommande mönstret som är likt mellan lager) och högfrekventa residualer (det unika, kontextspecifika). Det som de flesta missar när de läser kompressionsresultat är att siffrorna ser bra ut på enkla benchmark, men faller isär på uppgifter som kräver att modellen håller flera informationsbitar i luften samtidigt – och FreqDepthKV verkar faktiskt hålla sig stabil även där, tack vare den adaptiva "probe" som i realtid avgör vilka attention-huvuden som behöver exakt cache kontra approximation. En 3,9x kompressionskvot med bibehållen prestanda förskjuter den ekonomiska kalkylen för alla som kör långa kontexter i produktion, vilket i praktiken betyder att man antingen kan köra större modeller på samma hårdvara, eller kraftigt sänka infrastrukturkostnaden per miljon tokens.