Studie visar att språkmodeller får sämre kommunikationsförmåga vid realistiska störningar
Forskare har testat fyra avancerade språkmodeller i 720 scenarier med kommunikationshinder som språklig vaghet, kulturella skillnader och känslostörningar. Resultaten visar att ömsesidig förståelse minskar med över 45% och förvirring ökar med nästan 50% när modellerna möter realistiska kommunikationsbarriärer.
Djupdykning
Forskare har utvecklat SocialVeil, ett nytt testramverk som utvärderar stora språkmodellers sociala intelligens under mer realistiska kommunikationsförhållanden med olika typer av störningar. Till skillnad från tidigare benchmarks som antar perfekt kommunikation, simulerar SocialVeil tre vanliga kommunikationsbarriärer: semantisk vaghet, sociokulturella skillnader och emotionell interferens - alla baserade på systematisk forskning om mänsklig kommunikation. Resultaten från tester med fyra avancerade språkmodeller över 720 scenarier visar att dessa barriärer kraftigt försämrar prestationen, med ömsesidig förståelse som minskar med över 45 procent och förvirring som ökar med nästan 50 procent. Även med anpassningsstrategier som reparationsinstruktioner och interaktiv inlärning kvarstår betydande prestandaförluster. Detta arbete är viktigt eftersom det flyttar AI-utvärdering närmare verkliga kommunikationsförhållanden och avslöjar betydande begränsningar i nuvarande språkmodellers förmåga att hantera sociala komplexiteter. Nyckelinsikt: Även de mest avancerade språkmodellerna kämpar avsevärt med social kommunikation när realistiska störningar introduceras, vilket visar på ett kritiskt gap mellan AI-prestanda i idealiserade och verkliga sociala sammanhang.