Ny metod krymper AI-modeller till extremt låg minnesstorlek utan att tappa förmåga
Forskare presenterar CanonQ, ett träningsramverk som komprimerar stora språkmodeller (LLM) till bara 2 bitar per vikt och cachat minne – den typ av extrem komprimering som normalt förstör modellens prestanda. På LLaMA3-modeller uppnår metoden upp till 14 gånger lägre felprocent och 57,9% högre träffsäkerhet än tidigare teknik under samma hårda begränsningar. Det intressanta är att det här handlar om att faktiskt kunna köra kraftfulla modeller på enklare hårdvara – inte bara teoretisk effektivitet.
Djupdykning
Kvantisering är i grunden konsten att komprimera en AI-modell genom att minska precisionen på de siffror som beskriver den – istället för att lagra vikter som 32-bitars flyttal kör du dem på 2-4 bitar, vilket drastiskt minskar minneskrav och beräkningskostnad. Problemet är att när du gör detta samtidigt med modellens vikter (W), aktiveringar (A) och KV-cache (det kortminne modellen använder när den genererar text) så multipliceras felen på varandra i ett komplext kaos som forskningen hittills hanterat ganska klumpigt. CanonQ löser detta genom att först "normalisera" alla dessa tensorer till ett gemensamt koordinatsystem via rotationer och energinormalisering, och sedan träna modellen att hantera de kombinerade felen – ungefär som att lära en musiker att spela i transponerat läge innan man ber dem improvisera. Resultaten är anmärkningsvärda: 14x lägre perplexitet (ett mått på hur förvirrad modellen är inför nästa ord) och 58% bättre nollskottsprestation jämfört med konkurrenterna på LLaMA3-modeller. Det de flesta missar här är att W2A4KV2 inte bara är en akademisk benchmark – det är tröskeln där stora språkmodeller faktiskt kan köras på konsumenthårdvara, mobiltelefoner och edge-enheter utan molnberoende. Att kodgenerering och matematisk resonemang håller sig starkt vid dessa extrema komprimeringsnivåer är det verkliga testet, för de uppgifterna kräver precis den typ av exakta kedjeresonemang som brukar kollapsa först när bitar skärs bort.