Forskare kartlägger när neurala nätverk slutar rabbla och börjar förstå

arXiv cs.AI

Ett välkänt fenomen inom AI-forskning kallas 'grokking' – att ett neuralt nätverk först memorerar träningsdata och sedan, efter lång tid, plötsligt generaliserar och förstår mönstret på riktigt. Ny forskning har nu mätt exakt vad som påskyndar detta språng: mer träningsdata är överlägset viktigast (dubblar man datan går det 4 gånger snabbare), medan ett bredare nätverk knappt spelar roll (bara 1,2 gånger snabbare). Det praktiska rådet är alltså tydligt – satsa på data, inte på större modeller.