Nytt system ger AI-agenter mer realistiska testanvändare

arXiv cs.AI

Forskare har tagit fram ett system för att simulera mer trovärdiga testanvändare när man utvärderar AI-agenter – istället för enkla rollinstruktioner används en vektor med 23 olika dimensioner som täcker demografi, beteende och känslotillstånd. I ett test med nästan 65 000 flerturskonversationer skilde sig agenternas måluppfyllelse med upp till 15,8 procentenheter beroende på vilken användarprofil som testades, vilket visar att metoden faktiskt ger mätbart olika beteenden. Det intressanta här är att det handlar om ett grundläggande infrastrukturproblem – hur testar man AI-system ordentligt utan att alla testfall ser likadana ut?