761 träningskörningar avslöjar: ordningen på inlärningen spelar nästan ingen roll

arXiv cs.AI

En stor studie med 761 finjusteringskörningar på 12 AI-modeller (0,5–14 miljarder parametrar) testar om det finns en optimal 'recept' för i vilken ordning en modell lär sig matematikfärdigheter – och svaret är i princip nej. Skillnaderna mellan olika träningsordningar är så små (0,010–0,021) att de drunknar i slumpvariationen när man kör om experimenten. Det som faktiskt gör skillnad är datamängden och hur konsekvent träningsdatan använder samma konventioner – inte i vilken ordning modellen får se sakerna.