Ny metod låter små AI-modeller förbereda arbetet åt stora – och sparar massor av tid

arXiv cs.AI

Forskare har tagit fram RaReCache, ett system som låter en liten språkmodell göra det tunga förarbetet (prefill – att bearbeta kontexten innan svar genereras) åt en mycket större modell. Genom att identifiera de ~30–40% av tokens som faktiskt behöver räknas om från grunden behåller man 95–99% av den stora modellens noggrannhet, samtidigt som svarstiden minskar upp till 6,4 gånger vid hög belastning. Det intressanta är att det löser ett konkret infrastrukturproblem: när en användare byter modell mitt i en session behöver systemet inte längre börja om från noll.