Ny metod gör diffusionsmodeller snabbare utan att tappa precision

arXiv cs.AI

Forskare har tränat en liten policy-modell (856 000 parametrar) som styr hur diffusionsspråkmodeller – en alternativ typ av textgenerering som arbetar parallellt istället för ord-för-ord – bestämmer vilka tokens som är 'klara'. På LLaDA-8B-Instruct når den bästa balansen mellan hastighet och noggrannhet på matematikbenchmarken GSM8K, och fungerar även på Dream-7B-Instruct. Det intressanta är att en så liten modell räcker: redan 10% färre beräkningssteg kompenserar för den extra overhead den tillför.