Ny metod snabbar upp AI-textgenerering med 14 procent

arXiv cs.AI

Forskare har hittat ett sätt att göra så kallad spekulativ avkodning (där en mindre modell föreslår text som en större modell sedan godkänner eller förkastar) både snabbare och mer träffsäker. Den nya metoden TEV minskar verifieringstiden med 15 procent, medan träningsmetoden ExitTrain ökar hur många tokens som accepteras per omgång med 13 procent – sammantaget 14 procent snabbare än tidigare jämförbara system. Det intressanta är att de lyckas skilja på två separata problem: hur man bygger bättre förslag-träd och hur man verifierar dem mer effektivt.