Populärt AI-test för kausalitet kan vara missvisande

arXiv cs.AI

Ett vanligt benchmark-test (CLadder) som används för att mäta om stora språkmodeller kan resonera om orsak och verkan verkar ha en grundläggande brist: testdatan innehåller ytliga mönster som modellerna lär sig känna igen utan att faktiskt förstå kausalitet. Forskarna visar att även enkla modeller som random forests klarar testet bra efter träning på genererad data, och att LLM-prestandan knappt påverkas när man tar bort de textdelar som faktiskt krävs för logiskt kausalresonemang. Det mest sannolika är alltså att AI-modellerna fuskar – inte tänker.