Ny metod låter AI-nätverk utnyttja djupet bättre – med under 1% extra kostnad

arXiv cs.AI

Forskare har utvecklat ANCRe, en teknik som omfördelar hur lager i neurala nätverk kopplas ihop (så kallade residualkopplingar) och låter modellen själv lära sig den optimala strukturen under träning. Det intressanta är att så enkla designval kan ge exponentiellt olika konvergenshastigheter – alltså hur snabbt modellen lär sig – något som ofta förbisetts. Metoden testades på stora språkmodeller, diffusionsmodeller och ResNets och gav konsekvent snabbare träning med under 1% extra beräknings- eller minneskostnad.