Stora språkmodeller kan förstå vad folk tror – men inte förutsäga vad de gör

arXiv cs.AI

Forskare har upptäckt ett stort glapp i hur väl AI-modeller hanterar så kallad Theory of Mind (förmågan att förstå andras tankar och beteenden): Llama-3.1-8B känner igen mentala tillstånd i 99,4 procent av fallen, men lyckas bara förutsäga beteenden baserat på dessa i 28,9 procent. Det är ett problem eftersom modeller används i känsliga roller som terapi och utbildning, där det faktiskt gäller att agera rätt – inte bara att 'förstå' i teorin. Med en ny metod kallad BSTTT förbättrades beteendeförutsägelsen med 40,8 procentenheter, men enkla påminnelser i prompten stod för det mesta av förbättringen.