Nytt riktmärke testar AI-assistenters långtidsminne – resultaten är nedslående

arXiv cs.AI

Forskare har tagit fram PraxisMemBench, ett testramverk för att mäta hur väl AI-assistenter kommer ihåg både vem de hjälper och hur de ska agera över tid – två minnestyper som visar sig hänga ihop mer än tidigare trott. När assistenten måste hantera båda typerna samtidigt sjunker uppgiftsklaring från 84,6% till 77,9%, och felen ökar markant ju längre en konversationshistorik växer. Deras egna modell PraxisMem når 40,78% på det svårare måttet 'session success rate', att jämföra med Claude Codes 20,60% – vilket ger ett hum om hur långt det faktiskt är kvar till en AI som verkligen minns dig.