Nytt neuralt nätverk kombinerar kort- och långtidsminne i ett och samma system

arXiv cs.AI

Forskare har utvecklat Continuous Memory Machine (CMM), en ny typ av rekurrent neuralt nätverk (ett AI-system som bearbetar sekvenser steg för steg) som separerar kort- och långtidsminne i distinkta matriser istället för att pressa ihop allt i en enda vektor. Inspirationen kommer från hur biologiska hjärnor faktiskt fungerar, och systemet använder en Transformer för att låta minnena läsa från och skriva till varandra. I tester på logiska resonemang och inlärningsuppgifter slår CMM en bred uppsättning befintliga modeller, med bättre generaliseringsförmåga än tidigare minnesförstärkta nätverk.