AI-agenter som sköter sitt eget minne – och sparar nästan hälften av kostnaden
Forskare har testat om stora språkmodeller (LLM) kan hantera sitt eget kontextfönster – alltså avgöra själva när de ska komprimera sin samtalshistorik – istället för att ett yttre system sköter det. De sju starkaste modellerna klarade uppgiften förvånansvärt bra: de höll sessioner på upp till 212 omgångar under 100k tokens och tappade knappt i prestation. Med Claude Sonnet 3.5 landade kostnadsbesparingen på 34–49 procent jämfört med standardkonfigurationerna – inte dåligt för en ändring som kräver två verktyg och ett kort instruktionsstycke.
Djupdykning
LLM-agenter (AI-system som kan utföra flerstegsuppgifter) har ett grundläggande problem: de har ett begränsat "kontextfönster" – ungefär som arbetsminnet hos en människa – och långa sessioner spränger det taket. Standardlösningen har varit att låta ramverket runt modellen automatiskt komprimera historiken när det börjar bli trångt, lite som att en assistent rensar skrivbordet åt dig utan att fråga. Det den här studien testar är om modellen själv kan fatta det beslutet – vad som ska sparas, vad som kan glömmas, och hur man skriver en bra "överlämning" till sig själv. Det som flesta missar när de läser den här typen av forskning är att problemet inte bara är tekniskt utan ekonomiskt. Ju fler tokens du stoppar in i kontextfönstret, desto dyrare blir varje anrop till API:et – och i långa agentsessioner kan kostnaderna skena iväg snabbt. Claude Opus 4.5 med självhanterad kontext kostade 34–49% mindre än med ett manuellt konfigurerat stort kontextfönster, utan att prestationen föll nämnvärt. Det är skillnaden mellan en produkt med hållbar marginaler och en som blöder pengar på infrastruktur. Den lite ironiska insikten här är att de modeller som komprimerar för aggressivt faktiskt inte sparar pengar netto – komprimeringsanropen kostar också, och gör du dem för ofta äter de upp vinsten. Bästa strategin verkar vara att modellen har tillräckligt god självkännedom för att vänta tills det verkligen behövs, precis som en erfaren person vet när det är läge att städa undan och när det bara stör arbetsflödet.