Nytt ramverk gör AI-resonemang 36 gånger snabbare utan att tappa precision

arXiv cs.AI

Forskare har tagit fram LLoCoT, ett system som ersätter kedjetänkande (chain-of-thought, där modellen 'tänker högt' i text) med iterativ förfining i ett kompakt latent utrymme – ungefär som att tänka tyst istället för att mumla varje steg högt. Resultatet är imponerande: tiden till första svarstokenet minskar med cirka 36 gånger och genomströmningen ökar med 9,2 procent, allt medan precisionen håller sig i paritet med den explicita baslinjen på kodningsbenchmarks HumanEval och MBPP. Det intressanta här är att modellen alltså kan resonera lika bra men radikalt snabbare – vilket är precis det flaskhals som bromsar praktisk driftsättning av resonerande modeller.