Nytt minnessystem minskar tokenförbrukning med upp till 26% för AI-kodagenter
Forskare har byggt ett minnehanteringslager kallat Blast Radius som hjälper AI-kodagenter att slippa slösa tokens (de beräkningsenheter som LLM:er faktureras per) på onödig kontext. I tester över sju OpenAI-modeller minskade systemet tokenförbrukningen med 17–26%, och av 450 arkiverade kontexter behövde noll hämtas tillbaka – vilket antyder att modellerna ofta bär på mycket mer 'minne' än de faktiskt behöver. En praktisk påminnelse om att kostnadsproblemet med agentisk AI inte bara handlar om bättre modeller, utan också om smartare sophantering.
Djupdykning
När AI-agenter skriver kod på egen hand — det som kallas "agentic coding" — är ett av de stora dolda problemen att de konstant läser om samma information om och om igen. Varje gång en agent ska fatta ett beslut skickas hela konversationshistoriken och kodbasen till modellen, och du betalar per token, vilket betyder att du betalar per ord, per tecken, för varje gång. Blast Radius löser detta genom att förutsäga hur "långt in" i kodbasen ett kommande frågemeddelande faktiskt behöver nå, och kastar bort kontext som sannolikt inte behövs — men sparar den komprimerad ifall den mot förmodan skulle behövas igen, vilket de kallar "reversibel eviction." Av 450 arkiverade kontextbitar behövde noll hämtas tillbaka, vilket antyder att systemet är ganska bra på att skilja på vad som är faktiskt dött och vad som fortfarande lever. Det de flesta missar i diskussionen om AI-kostnader är att problemet inte primärt är modellernas storlek eller prissättning per se — det är att nuvarande system är katastrofalt dåliga på att glömma saker på ett smart sätt. En mänsklig utvecklare som jobbat på ett projekt i tre månader behöver inte läsa alla tidigare kodkommentarer varje gång hen skriver en ny funktion, men dagens AI-agenter gör i praktiken precis det. En minskning på 17–26% i tokenkonsumtion låter modest, men i produktionsmiljöer där agenter kör tusentals loopar per dag är det skillnaden mellan ett projekt som är ekonomiskt försvarbart och ett som inte är det.