Nytt riktmärke testar om AI faktiskt räknar rätt – inte bara skriver snygg kod

arXiv cs.AI

Forskare har skapat CausalVerify, ett riktmärke (benchmark) som kontrollerar om stora språkmodeller verkligen producerar korrekta statistiska slutsatser inom ekonometri – inte bara om koden de skriver går att köra. Av 426 arbetsflöden som faktiskt kördes gav 15,5 procent fel svar, och de sju testade modellerna klarade sig allt från 10 till 88 procent beroende på toleransnivå. Det intressanta: modellernas självrapporterade säkerhet (hur säkra de säger sig vara) avslöjar inte alls vilka svar som är rätt eller fel.