Ny metod för AI-träning förbättrade noggrannhet men tappade viktiga klassificeringsförmågor

arXiv cs.AI

Forskare testade en teknik kallad 'correctness-gated multi-teacher distillation' – där en liten AI-modell (64 miljoner parametrar) tränas på svar från flera lärar-modeller, men bara på de svar som faktiskt var korrekta. Metoden förbättrade träffsäkerheten med 16,6 procentenheter och halverade nästan andelen osäkra beslut, men till ett oväntat pris: modellen slutade helt att känna igen två av fem svarsklasser i hälften av testerna. Det är ett bra exempel på hur ett systems övergripande siffror kan se bra ut medan något fundamentalt gått sönder under ytan.