Ny cachningsteknik minskar beräkningskostnaden för loopad AI med 30%

arXiv cs.AI

Forskare har löst ett praktiskt problem med så kallade 'looped language models' – AI-modeller som återanvänder samma parametrar i flera iterationer för att spara minne. Genom en smartare strategi för KV-cache (hur modellen lagrar mellanliggande beräkningar) lyckas de minska både minnesbehov och beräkningskraft med upp till 30%, utan att försämra prestandan. Det intressanta är att modellen nu faktiskt kan lägga olika mycket tankekraft på svåra respektive enkla delar av en text – något som lovades i teorin men inte fungerade i praktiken.