Nytt testramverk låter AI-agenter utvärderas mot ett fiktivt företag med exakta svar

arXiv cs.AI

Ett vanligt problem med att testa AI-agenter i företagsmiljöer är att man inte kan använda riktig kunddata – och det har saknats bra alternativ. Det här projektet löser det genom att bygga ett komplett fiktivt företag med simulerade versioner av Salesforce, Zendesk och Slack, där alla rätta svar beräknas direkt från datan så att bedömningen blir exakt. Nio AI-modeller testades på 33 frågor och presterade mellan 42 och 77 procents träffsäkerhet – en ganska stor spridning som visar att det faktiskt är ett meningsfullt test.