Nytt testverktyg mäter hur bra AI klarar att intervjua människor

arXiv cs.AI

Forskare har byggt InterviewPlayground, en simuleringsmiljö för att utvärdera AI-intervjuare – alltså AI-system som ställer öppna frågor i exempelvis marknadsundersökningar och opinionsundersökningar. I 15 riktiga studier med 450 mänskliga deltagare visade sig simuleringarna förutsäga verkliga resultat med ett genomsnittligt Pearson-korrelationsvärde på 0,86 (där 1,0 är perfekt träff), vilket är anmärkningsvärt högt. Det intressanta här är att detta egentligen handlar om ett metaproblem: hur testar man en AI som ska testa människor – och nu finns alltså ett validerat svar.