Nytt benchmark testar AI på olösta matematikproblem – bästa modellen klarar 14%

arXiv cs.AI

Forskare har skapat OpenProblemBench, ett test med 82 olösta problem från matematik och teoretisk fysik, för att mäta om AI faktiskt kan bidra till ny vetenskap snarare än att bara återupprepa känd kunskap. GPT-6-Astra presterade bäst med 14% lösningsgrad, medan övriga stora modeller låg på 5–7% – vilket i sammanhanget faktiskt är anmärkningsvärt lågt med tanke på hur mycket AI-optimism som cirkulerar. Det antyder att steget från att klara standardtester till att knäcka riktiga forskningsproblem fortfarande är stort.