LivingRAG låter AI-system minnas tidigare resonemang istället för att börja om från noll

arXiv cs.AI

Forskare har byggt LivingRAG, ett system där AI:n sparar undan användbara slutledningar från tidigare frågor och återanvänder dem vid liknande framtida frågor – ungefär som att skriva anteckningar i marginalen istället för att läsa om hela boken varje gång. I tester på flerstegsfrågor (där svaret kräver att flera informationskällor kopplas ihop) förbättrades träffsäkerheten jämfört med vanliga RAG-system, och antalet genererade tokens minskade när lagrad erfarenhet fanns tillgänglig. Det intressanta är egentligen hur enkelt grundidén är: dagens RAG-system glömmer allt direkt efter varje svar, vilket är märkligt slösaktigt.