Öppen träningsrecept för 8B-modell visar hur data och finjustering faktiskt spelar roll

arXiv cs.AI

Forskare bakom NebulaExp har publicerat en helt öppen och reproducerbar träningspipeline för en 8-miljarders parametermodell byggd på Qwen3-8B, något som är ovanligt i en bransch där de flesta håller sina recept hemliga. Genom noggrann datafiltrering av 3,84 miljoner träningsexempel och stegvis finjustering (SFT) lyckades de höja modellens genomsnittliga benchmark-poäng från 55,01 till 61,85. Det intressanta är egentligen transparensen – att se exakt vad som faktiskt gör skillnad i träningen är mer värdefullt för communityn än ytterligare en stängd toppmodell.