Komprimerade AI-modeller ger mer enformiga svar – men inte mer partiska

arXiv cs.AI

När man krymper en språkmodell (LLM) för att spara serveringskostnader – en teknik kallad kvantisering – påverkas vad modellen väljer att säga, visar en ny studie med cirka 71 000 testade svar. För den minsta modellen (8 miljarder parametrar) ökade sannolikheten att två användare fick exakt samma varumärkesrekommendation med 5,1 procentenheter vid hårdare komprimering. Det intressanta är att modellerna inte blev mer stereotypa eller partiska – de blev bara tråkigare och mer enformiga, vilket är ett eget problem som sällan mäts i standardtester.