Bästa förtränade modellen är inte alltid bäst efter finjustering

arXiv cs.AI

Forskare visar att det vanliga antagandet – att den förtränade modell (language model) med lägst förlustpoäng också blir bäst efter finjustering – inte stämmer. I ett 30-miljarders-parameters mixtursystem (mixture-of-experts) visade sig vissa checkpoints prestera sämre efter hela träningspipelinen, trots bättre initiala scores. Det verkar som att en modells robusthet mot små viktförändringar är ett bättre mått på kvalitet än benchmark-poäng.