Ny metod minskar AI-agenters minneskostnader med 21 procent

arXiv cs.AI

AI-agenter som arbetar med långa uppgifter samlar på sig enorma mängder konversationshistorik, vilket driver upp beräkningskostnaderna. Forskare visar att den vanliga metoden – att komprimera bort geometriskt likartad data (ungefär: rensa bort 'liknande' informationsklumpar) – missar viktig uppgiftsrelaterad information. Deras nya metod GEM prioriterar istället att bevara relevant handlingsinformation och lyckas minska tokenanvändningen från 2,69 miljoner till 2,11 miljoner per uppgift, utan att prestandan försämras nämnvärt.