Nytt testramverk mäter hur väl AI-agenter lär sig av arbetsdemonstationer

arXiv cs.AI

Forskare har lanserat ShowTellArena, ett ramverk för att testa om AI-agenter verkligen förstår affärsprocesser efter att ha fått se dem demonstrerade – ungefär som när man lär upp en kollega genom att visa och förklara. Version 1.0 innehåller 50 arbetsflödesuppgifter inom områden som ekonomi, rekrytering och logistik, med totalt 502 frågor som testar om agenten fattat regler, undantag och felscenarier. Pilottesterna på 218 försök med tre olika system visar att det finns tydliga brister – både i felaktiga svar och i att agenter ibland inte ens fullföljer inlärningsfasen.