Ny metod minskar resursbehovet för att träna AI-modeller på komplexa resonemangsproblem
Forskare har utvecklat NormTune, en teknik som förbättrar så kallad parameter-efficient fine-tuning (PEFT) – en metod för att anpassa AI-modeller utan att behöva köra hela den resurskrävande träningsprocessen. Problemet har varit att PEFT presterat sämre än fullständig träning på svåra resonemangsbenchmarks, men NormTune stänger en stor del av det gapet: med LoRA (en populär PEFT-metod) ökade precisionen med upp till 24 procent på tester som AIME 2024 och MATH 500. Det intressanta är att man nu kan närma sig resultaten från dyr fullträning – utan att betala det GPU-priset.
Djupdykning
Att träna stora språkmodeller att bli bättre på matematik och logik är dyrt – vi pratar om att hyra ett helt gäng kraftfulla GPU:er i dagar eller veckor. PEFT (parameter-efficient fine-tuning) är en familj av tekniker som försöker lösa det genom att bara uppdatera en liten delmängd av modellens parametrar istället för alla, och LoRA är den mest kända varianten – förenklat sett lägger den till smala "sidospår" i nätverket som tränas medan resten fryses. Problemet forskarna här identifierar är att när du gör det på riktigt krävande resonemanguppgifter, halkar PEFT rejält efter full träning, och deras förklaring är elegant: vissa lager i nätverket uppdateras helt enkelt för lite, vilket syns om man mäter normerna på viktförändringarna (norm = ett mått på hur stor en förändring är i matematisk mening). Det de flesta missar i PEFT-debatten är att diskussionen nästan alltid handlar om *hur många* parametrar man tränar, inte *vilka* och *hur mycket* de faktiskt förändras – NormTune vrider på det perspektivet och frågar istället: vilka lager är underutnyttjade, och kan vi styra mer uppdateringar dit adaptivt? En förbättring på 24 procentenheter för rank-8 LoRA är inte en liten justering utan förändrar hela kostnads-prestanda-kalkylen för organisationer som vill bygga resonerande AI utan att bränna ett Fortune 500-budget på beräkning.