AsymSpec: Ny metod snabbar upp AI-agenter utan att offra precision

arXiv cs.AI

Forskare har tagit fram AsymSpec, ett ramverk som låter AI-agenter arbeta snabbare och billigare genom att ge en liten hjälpmodell full kontext medan den stora modellen får en komprimerad version – ett trick som tidigare ansetts omöjligt. I tester nådde metoden ungefär 90% av full-kontextprecision med 1,3–1,7 gånger högre genomströmning och bara 20–30% av den vanliga beräkningskostnaden. Det intressanta är att det handlar om en smart arbetsfördelning snarare än att göra modellerna större.