ProQuant pressar ned minneskraven för stora AI-modeller utan att tappa kvalitet

arXiv cs.AI

Forskare har tagit fram ProQuant, en metod för att komprimera så kallade Mixture-of-Experts-modeller – stora språkmodeller som aktiverar olika expertdelar beroende på uppgiften – till extremt låga bitbredder utan att generationskvaliteten försämras nämnvärt. Tricket är en tvådelad approach: en algoritm som väljer om en expert ska tas bort eller prioriteras i precision, plus en teknik som håller modellens routing (hur den väljer vilka experter som ska användas) stabil under komprimering. Det är ett praktiskt steg mot att kunna köra kraftfulla MoE-modeller med betydligt lägre lagringskostnader.