Ny metod förbättrar komprimerade AI-modeller utan att sakta ner dem

arXiv cs.AI

Forskare har upptäckt ett motintuitivt problem: när man komprimerar stora språkmodeller (LLM) till lägre precision kan den optimeringsmetod som verkar fungera bäst på träningsdata faktiskt försämra modellens prestanda på nya uppgifter. Deras lösning, Distributionally Robust Quantization (DRQ), justerar istället vikterna så att modellen klarar sig bra även när indata varierar – och förbättrar befintliga komprimeringsmetoder som AWQ och GPTQ utan att lägga till någon extra beräkningskostnad vid körning.