Ny transformer-arkitektur förbättrar diffusionsbaserad textgenerering

arXiv cs.AI

Forskare har byggt LangDiT, en transformer-arkitektur (typ av neuralt nätverk) skräddarsydd för så kallade kontinuerliga diffusionsmodeller för text – en metod som genererar text parallellt istället för ord för ord. Resultaten är tydliga: på standardtestet OpenWebText når modellen ett perplexitetstal (mått på hur naturlig texten låter, lägre är bättre) på 11,33 – klart bättre än tidigare modeller i samma kategori. Det intressanta är att förbättringarna enbart kommer från arkitekturval, inte från nya träningsdata eller -metoder.