Nytt riktmärke avslöjar att AI-agenter tar omvägar även när de lyckas

arXiv cs.AI

Forskare har lanserat GraceBench, ett utvärderingssystem för AI-agenter som styr mobilappar, och fynden är lite oroande: även när en agent slutför en uppgift korrekt innehåller 51 procent av de lyckade körningarna onödiga omvägar eller loopar. GPT-4o Sol hade högst andel avklarade uppgifter men sämst förmåga att rätta till egna misstag – vilket tyder på att 'klarade uppgiften' inte berättar hela historien. Med 3 718 testade körningar över 169 uppgifter visar studien att nuvarande mätvärden döljer ganska mycket röra under huven.