Fryst diffusionsmodell lär sig transkribera tal med bara 42 miljoner tränade parametrar
Forskare har kopplat ihop en 26 miljarder parameters stor språkmodell (DiffusionGemma) med taligenkänning – och det smarta är att modellen skriver hela transkriptionen parallellt i ungefär åtta steg, istället för ord för ord som vanliga system. Bara 0,16 procent av modellens parametrar behövde tränas, ändå når systemet 6,6 procents felfrekvens på standardtestet LibriSpeech – konkurrenskraftigt med betydligt tyngre lösningar. Det intressanta knepet: en klassisk förlustfunktion från talteknologins tidiga dagar (CTC, connectionist temporal classification) visade sig vara nyckeln till att faktiskt få modellen att lyssna på ljudet.
Djupdykning
Automatisk taligenkänning har länge dominerats av autoregressiva modeller – tänk ChatGPT fast för ljud – som plockar fram ett ord i taget, från vänster till höger. Det här pappret testar om en diffusionsmodell kan göra samma jobb, och det är ett genuint paradigmskifte i hur man kan tänka kring transkription. Diffusion (processen där modellen börjar med brus och gradvis rensar fram text) gör hela transkriptionen parallellt på ungefär åtta steg, oavsett om meningen är tre ord eller trettio. Det är som skillnaden mellan att bygga ett pussel bit för bit versus att kasta ut alla bitar och sedan successivt flytta dem till rätt plats på en gång. Det de flesta missar är det tekniska hindret de stötte på – och hur de löste det. Nätverket vägrade lyssna på ljudet; gradienten (informationen som talar om för modellen vad den ska lära sig) nådde aldrig ljudprojektorn för att uppmärksamhetsmekanismen redan hade ignorerat den. De fixade det med en CTC-förlust, en klassisk teknik från 2006 som brukar kopplas till äldre talgenkänning, sprungen in som brandkår i ett 26-miljarder-parametersprojekt. Att bara 42 miljoner parametrar tränades – 0,16 procent av hela modellen – och ändå nå 6,6 procent ordfelfrekvens på LibriSpeech är anmärkningsvärt, och tyder på att frysning av stora modeller med minimala adaptrar kan vara underskattat som strategi för multimodala system.