Nya språkmodeller löser problem mer effektivt med färre steg

arXiv cs.AI

Forskare har jämfört två typer av icke-traditionella språkmodeller och funnit att så kallade Flow Language Models (FLMs) – som jobbar med kontinuerliga representationer istället för diskreta tokens under bearbetningen – klarar resoneringsuppgifter mer effektivt med färre beräkningssteg. I praktiska tester på labyrintplanering nådde FLMs 95% träffsäkerhet med 36,5% färre parametrar än jämförelsemodellen MDLM. Det intressanta här är varför: modellen håller flera möjliga svar 'i luften' samtidigt under hela processen, snarare än att låsa sig tidigt.