Hybridmodell kombinerar diffusion och autoregression för snabbare AI-resonemang

arXiv cs.AI

Forskare föreslår CoRAL, ett ramverk som parar ihop en diffusionsmodell (som genererar text parallellt istället för ord-för-ord) med en traditionell språkmodell för att kringgå den inbyggda flaskhalsen i sekventiellt tänkande. Tanken är enkel: diffusionsmodellen skissar K olika resonemangsspår samtidigt, medan den större modellen väljer det bästa och formulerar svaret. På visuella språkbenchmarks slår CoRAL tidigare diffusionsbaserade metoder och hävdar sig väl mot rena autoreggressiva modeller – intressant nog utan att välja sida i debatten, utan genom att kombinera båda.