Nytt test avslöjar att AI-modeller missar det användare egentligen menar

arXiv cs.AI

Forskare har lanserat xDailyBench, ett test med 248 vardagliga uppgifter för att mäta hur väl AI-modeller förstår vad användare faktiskt vill ha – inte bara vad de bokstavligen skriver. De bästa modellerna klarar 75,6 % av uppgifterna, men det verkligt intressanta är att alla modeller är minst 9 procentenheter sämre på att tolka outtalade behov jämfört med explicita instruktioner. Det är precis den förmågan som avgör om en AI känns genuint hjälpsam eller bara pedantiskt bokstavstrogen.