LoopAhead snabbar upp AI-textgenerering med upp till 7,8 gånger

arXiv cs.AI

Forskare har utvecklat LoopAhead, en metod för att snabba upp så kallad looped transformers – en typ av språkmodell som återanvänder samma lager upprepade gånger för att spara på parametrar. Tricket är att låta modellen spekulativt gissa flera kommande ord i förväg med hjälp av tidiga beräkningssteg, och sedan låta djupare lager avgöra vilka gissningar som är värda att fortsätta med. Resultatet är upp till 7,82 gånger snabbare textgenerering jämfört med vanlig sekventiell avkodning – utan att försämra modellens utdata.