Ny metod förbättrar finjustering av stora AI-modeller med delade experter

arXiv cs.AI

Forskare har hittat ett bättre sätt att finjustera så kallade MoE-modeller (Mixture-of-Experts – en typ av AI-arkitektur som aktiverar olika specialiserade delar av modellen beroende på uppgiften). Tricket är att mjukt bevara hur modellen redan lärt sig att fördela arbete mellan sina experter, snarare än att tvinga fram en jämn fördelning – vilket visar sig kosta prestanda. På matematikbenchmarks fick metoden 45,77 i träffsäkerhet mot 31,91 för standardmetoden, testat på Moonlight-16B-A3B.