Nytt testramverk avslöjar att AI-agenter kämpar med affärslogik – klarar bara 32% av beräkningsuppgifter

arXiv cs.AI

Forskare har byggt DI-Bench, ett automatiserat sätt att skapa testuppgifter för AI-agenter som jobbar med företagsdata – ett område där offentliga benchmark-tester (standardiserade utvärderingar) nästan helt saknas. Ramverket genererade 731 uppgifter från två datakällor, och resultaten är talande: när modeller måste kombinera hämtad affärslogik med beräkningar når de bara 32% korrekthet. Det antyder att dagens AI-agenter är betydligt sämre på att tillämpa kontextspecifika regler än vad generella tester låter ana.