Ny metod minskar felaktiga resonemang när mindre AI-modeller tränas av större

arXiv cs.AI

Forskare har tagit fram en teknik som förbättrar så kallad on-policy distillation – där en liten språkmodell tränas genom att imitera en större lärare-modell – genom att göra läraren mer uppmärksam på frågornas faktiska premisser. Problemet man löste: läraren godkände felaktiga svar i 27% av fallen, vilket sjönk till 16% med den nya metoden. I praktiken gav det 1,6–2 procentenheter bättre resultat på matematikbenchmarks när Qwen3-8B destillerades ner till betydligt mindre modeller (0,6B och 1,7B parametrar).