Nytt riktmärke mäter när minne faktiskt hjälper AI-agenter

arXiv cs.AI

Forskare har testat hur bra långtidsminne fungerar för AI-agenter som utför riktiga uppgifter – inte bara svarar på frågor – och resultaten är ojämna: rätt minnesstrategi kan lyfta framgångsgraden från 0 till 55–100%, men fel implementation sänker den med upp till 60 procentenheter. Särskilt problematiskt är att inbäddningsbaserad sökning (embedding retrieval, där fakta lagras som vektorer) kollapsar opålitligt vid uppdaterade fakta, medan strukturerade faktalagringar klarar sig bättre. Över 23 400 testade episoder för knappt 43 dollar visar studien att att spela upp hela konversationshistoriken aldrig är kostnadseffektivt – bästa metoden ger 2,7–3,9 gånger mer nytta per spenderad dollar.