Nytt mätsystem avslöjar att AI-agenter inte alltid hjälper – ibland stjälper de

arXiv cs.AI

Forskare har byggt AlphaDiana, ett system för att mäta hur väl AI-agenter (modeller som kombineras med verktyg och minne) faktiskt presterar. Resultatet är lite nedslående: i tester med tre öppna modeller och tre agentramverk visade sig verktygen inte konsekvent förbättra träffsäkerheten – vinster på svåra frågor vägdes ofta upp av att agenten tappade frågor den hade klarat utan hjälp. Varken vägledningsinstruktioner eller sparad historik gav tillförlitlig förbättring, vilket antyder att vi mäter AI-agenter på fel sätt idag.