Stora språkmodeller tål komprimering sämre än små – och ingen visste om det

arXiv cs.AI

Ny forskning visar att tekniker som kvantisering och pruning (metoder för att krympa AI-modeller och göra dem billigare att köra) är betydligt skadligare för stora modeller än för små – ett mönster som vanliga testresultat döljer. Problemet är att mindre modeller kan 'reparera' intern skada genom att andra delar av nätverket kompenserar, medan den förmågan minskar när modellerna växer. Praktisk konsekvens: en komprimeringsteknik som verkar ofarlig på en liten modell kan visa sig kostsam när den tillämpas på en stor.