Nytt test avslöjar att AI-modeller kämpar med ekonomisk orsaksanalys i nya sammanhang

arXiv cs.AI

Forskare har tagit fram EconCausal, ett testramverk med 10 490 ekonomiska orsakssamband hämtade från 2 595 vetenskapliga studier, för att mäta hur väl stora språkmodeller (LLMs) förstår att samma ekonomiska åtgärd kan ge olika utfall beroende på context. De bästa modellerna når runt 84% träffsäkerhet när kontexten är oförändrad, men noggrannheten rasar till 44% när källan och målet pekar åt olika håll – vilket tyder på att modellerna kopierar mönster snarare än resonerar. Det är en relevant svaghet om AI ska användas som beslutsstöd i ekonomisk analys.