Nytt ramverk låter AI-agenter lära sig av egna erfarenheter över tid
Forskare har tagit fram MemCryst, ett system där en AI-agent kontinuerligt bygger upp både minnen och återanvändbara färdigheter (sparade lösningsmetoder) utan att behöva uppdatera själva språkmodellen. Det intressanta är hur de två systemen matar varandra: minnen hjälper agenten skapa bättre färdigheter, och färdigheterna genererar nya minnen. I testmiljön ALFWorld nådde kombinationen 63% framgångsrate, mot 60% för minne ensamt och 51% för färdigheter ensamt.
Djupdykning
De flesta AI-agenter har ett grundläggande problem: de glömmer allt mellan sessioner, eller så lär de sig generella regler men tappar de specifika detaljerna som faktiskt behövs för att lösa ett konkret problem. MemCryst försöker lösa detta genom att låta minnen och färdigheter (tänk: sparade procedurer, typ "gör såhär när du städar ett rum") mata varandra i en loop – minnen blir till färdigheter, färdigheter genererar nya erfarenheter som blir nya minnen. Det smarta är att systemet inte skriver om gamla minnen utan istället justerar hur mycket inflytande varje minne får vid framtida beslut, ungefär som att rösta upp eller ner ett Reddit-inlägg utan att ändra själva texten. På ALFWorld, ett benchmark där en agent ska navigera och utföra uppgifter i en simulerad lägenhetsmiljö, slår kombinationen av minne och färdigheter båda ensamma – 63% framgång jämfört med 60% respektive 50%. Det de flesta missar när de läser sånt här är att den frusna språkmodellen (frozen LLM, alltså en modell vars parametrar inte uppdateras under träning) är nyckeln till varför detta är praktiskt användbart – du behöver inte träna om GPT-4 varje gång agenten lär sig något nytt, utan all adaptation sker i vad du stoppar in i kontextfönstret. Det förskjuter frågan från "hur bygger vi smartare modeller" till "hur bygger vi smartare minnen", och det är en arkitektonisk satsning som blir allt mer relevant ju dyrare och mer inlåsta de stora modellerna är.