Nytt riktmärke avslöjar att AI-assistenter är dåliga på långsiktiga personliga råd

arXiv cs.AI

Forskare har tagit fram PRAGMA, ett testramverk som mäter hur väl AI-assistenter ger personliga råd baserat på långa konversationshistorik – inte bara faktaåtergivning. Resultaten är nedslående: både minnessystem och långkontextmodeller (modeller som kan hantera stora mängder text) kämpar med att hitta rätt information och använda den för faktiskt användbara råd. Det är en påminnelse om att 'minne' i AI-assistenter fortfarande är ett olöst problem, trots att produkterna redan rullas ut brett.