Ny metod förbättrar hur mindre AI-modeller lär sig av större

arXiv cs.AI

Forskare har tagit fram DrOPD, en teknik för att mer effektivt överföra kunskap från en stor AI-modell till en mindre – ett område som kallas 'distillation'. Metoden identifierar specifika positioner i texten där den lilla modellen avviker mest från lärarmodellen och lägger till extra träningssignal just där, vilket minskar allvarliga felavvikelser med 37,9 procent jämfört med standardmetoden. Resultaten testades på sex matematikbenchmarks – en smal men konkret validering.