Ny metod krymper AI-modeller till 2 bitar utan att de kollapsar

arXiv cs.AI

Forskare har löst ett knepigt problem: att komprimera stora språkmodeller ner till 2 bitar per vikt (ett sätt att minska minnesanvändning) utan att modellen slutar fungera – något som tidigare metoder misslyckades med totalt. Tricket är att använda vektorkodböcker istället för vanlig skalär kvantisering, kombinerat med smart val av kalibreringsdata, vilket bevarar 89–97% av full precision på faktafrågor. Metoden kräver dessutom 1,4 till 30 gånger mindre beräkningskraft än de starkaste konkurrerande teknikerna.