VitaBench 2.0: Nya test visar att AI-agenter fortfarande har svårt med personalisering
Forskare har utvecklat VitaBench 2.0, ett testverktyg som mäter hur bra AI-agenter är på att förstå användarpreferenser över tid och agera proaktivt. Resultaten visar att även de mest avancerade språkmodellerna fortfarande har stora svårigheter med verklig personalisering - de missar viktiga ledtrådar från fragmenterade användarinteraktioner och lyckas sällan bygga upp en sammanhängande bild av vad användaren faktiskt vill.
Djupdykning
Medan de flesta AI-agenter idag är som hjälpsamma men glömska assistenter, visar VitaBench 2.0 hur långt vi har kvar till verkligt intelligenta medarbetare. Det här benchmarket testar något helt avgörande som de flesta utvärderings-test missar: kan AI-agenter faktiskt lära känna dig som person över tid och agera utifrån det? Istället för att bara svara på direkta frågor måste agenterna läsa mellan raderna i fragmentariska interaktioner - precis som en bra kollega skulle förstå dina preferenser bara genom att observera hur du arbetar. Resultaten är tydliga: även de bästa modellerna idag failar rejält på denna typ av långsiktig personalisering. Det här avslöjar varför dagens AI-assistenter fortfarande känns så opersonliga och reaktiva - de saknar den kontinuerliga minnesförmågan som gör mänskliga relationer meningsfulla. När vi en dag har agenter som verkligen kan bygga djupa, personliga förståelser över månader och år kommer det förändra allt från kundservice till personlig coaching.