Nytt ramverk löser problem med att återanvända AI-modeller

arXiv cs.AI

Forskare har identifierat ett allvarligt problem med en populär teknik för att bygga stora språkmodeller billigare: när man delar upp en färdigtränad modell i många små specialister (så kallad fine-grained MoE upcycling) kollapsar systemet och presterar nästan lika dåligt som att börja från noll – 23,2% mot 22,2% korrekthet. Det nya ramverket DivMoE löser detta genom att hämta specialisterna från olika domäntränade modeller istället för en enda, vilket lyfter resultatet till 55,6% och gör att en 12-miljarders-parametermodell matchar Moonshots betydligt större Moonlight-MoE på 16 miljarder parametrar.