Varför modeller lär sig träningsdata länge innan de generaliserar

arXiv cs.AI

Forskare har studerat ett välkänt fenomen inom maskininlärning – att en modell når nära perfekt träffsäkerhet på träningsdata långt innan den fungerar lika bra på ny, osedd data. Det intressanta här är att de visar att detta kan uppstå redan i enkla linjära modeller (inte bara komplexa djupa nätverk), och delar upp förloppet i tre tydliga faser med egna tidsskalor. Resultaten verifierades också på MNIST-data med ett djupare nätverk, vilket antyder att fenomenet är mer grundläggande än man tidigare trott.