Ny teori beskriver hur neurala nätverk lär sig – sett från funktionsrymden

arXiv cs.AI

Forskare har utvecklat ett teoretiskt ramverk för att förstå hur djupa neurala nätverk lär sig, inspirerat av statistisk mekanik (läran om hur stora system beter sig kollektivt). Istället för att studera nätverkens miljarder parametrar direkt, analyserar man inlärningen på en högre nivå – i 'funktionsrymden' – och visar matematiskt varför nätverken tenderar att lära sig längs mjuka, datavänliga riktningar snarare än kaotsiska sådana. Det är grundforskning utan omedelbara produkttillämpningar, men den ger ett ovanligt rent svar på varför träning faktiskt fungerar.