Nytt riktmärke testar AI-agenters förmåga att diagnostisera stadsproblem

arXiv cs.AI

Forskare har lanserat DUDA-Bench, ett riktmärke (benchmark) som testar hur väl AI-agenter klarar av att analysera stadsproblem – som trafikstockning eller luftkvalitet – utifrån data från 12 städer. Testet innehåller 108 uppgifter fördelade på fyra analyssteg, och resultaten visar att sju testade modeller klarar isolerade deluppgifter betydligt bättre än hela analyskedjan från start till slut. Det intressanta är just det gapet: att vara bra på delarna garanterar inte att du är bra på helheten.