Ny analys visar hur gradientflöde styrs i optimala transportlager

arXiv cs.AI

Forskare har analyserat hur den underliggande grafstrukturen i så kallade Sinkhorn-lager – en typ av differentierbara transportmekanismer som används i vissa AI-modeller – påverkar hur gradienter (felsignaler under träning) sprids bakåt i nätverket. Huvudresultatet är ett matematiskt kriterium: för att träningen ska vara stabil behöver varje par av kolumner i transportgrafen ha minst en gemensam tvåstegsväg, annars kan gradientflödet bli godtyckligt trögflytande. Praktiskt sett ger det här designers av uppmärksamhetsmekanismer (attention layers) konkreta regler för att välja grafstrukturer som faktiskt fungerar under träning.