Nya testet visar att AI-modeller dåliga på att förstå relationer i gruppterapisamtal

arXiv cs.AI

Forskare har tagit fram ett nytt riktmärke (benchmark) kallat RESCUE för att testa om stora språkmodeller kan ge emotionellt stöd i flerpersonssamtal – inte bara ett-mot-ett. Testet bygger på 191 verkliga par- och familjeintervjuer med över 7 000 annoterade repliker, och resultaten från tio testade modeller visar att de klarar enkla känslotolkningar men misslyckas när det gäller att förstå relationsmönster och förutsäga hur man bäst stöttar någon. Det är ett påminnelse om att nuvarande AI-modeller egentligen inte förstår hur mänskliga relationer fungerar – de plockar upp signaler i stunden men saknar det större sammanhanget.