Nytt riktmärke mäter hur bra AI-modeller hanterar verkliga samtal

arXiv cs.AI

Forskare har tagit fram DuplexAct, ett testramverk för att utvärdera hur väl AI-modeller klarar av att lyssna och prata samtidigt – som i ett riktigt telefonsamtal. Ramverket innehåller 4 691 testfall från vardagssamtal, möten, kundtjänst och intervjuer, varav drygt hälften är inspelade riktiga konversationer. Det som är intressant är att befintliga tester ofta mäter om en modell gör rätt sak, men inte om den gör det vid rätt tillfälle – och den skillnaden visar sig vara avgörande.