Ny metod låter AI-modeller lära sig av sina egna misstag under drift

arXiv cs.AI

Forskare har tagit fram en teknik kallad Localized Context Distillation (LoCD) som gör det möjligt för stora språkmodeller att kontinuerligt förbättras efter driftsättning – utan de problem som tidigare metoder haft med så kallad exposure bias (när modellen tränas på data den aldrig sett i verkligheten). Tricket är att en lärarmodell bara korrigerar de specifika delarna av en elevmodells svar som faktiskt behöver förbättras, istället för att skriva om allt. I tester på matematik, kodgenerering och agentuppgifter slog LoCD genomgående starkare baslinjer och gav stabilare träning.