Nytt riktmärke testar om AI kan återupptäcka matematiska genombrott

arXiv cs.AI

Forskare har lanserat OpenFrontiers, en samling med över 12 000 öppna forskningsproblem plus ett riktmärke (benchmark) med 200 matematiska problem för att testa hur bra stora språkmodeller egentligen är på forskning. Resultaten är nyktra: när sju AI-agenter testades utan tillgång till internet lyckades de lösa högst 7 av 40 redan lösta problem – och de gånger AI klarade det med webbåtkomst handlade det mestadels om att hitta publicerade lösningar snarare än att räkna ut dem själv. Det är en påminnelse om att 'AI löser matematik' ofta betyder 'AI googlar matematik'.