Nytt riktmärke testar om AI-agenter kan kombinera minne med ny kunskap

arXiv cs.AI

Forskare har lanserat ColaBench, ett riktmärke (benchmark) som testar hur väl personliga AI-agenter klarar av att använda både tidigare interaktioner och ny information för att ge situationsanpassade svar – något befintliga tester missar. Databasen innehåller 349 uppgifter inom hälsa och vardagsliv, med över 13 000 dokument, och deras egna metod MemKB nådde 86,25% korrekthet på uppgifterna. Det intressanta är egentligen vad felen avslöjar: agenter tenderar att göra ogrundate antaganden om användaren och tillämpa regler fel – precis de saker som gör skillnad i verkliga scenarion.