Nytt riktmärke testar AI:s förmåga att granska matematiska påståenden

arXiv cs.AI

Forskare har skapat ClaimScope, ett riktmärke (benchmark) med 72 uppgifter för att testa hur väl AI-modeller kan granska och korrigera matematiska påståenden – inte bara ge rätt svar. När modellen Qwen3-8B fick strukturerad återkoppling från en verifierare ökade antalet godkända motexempel från 15 till 23 av 39, men de bredare förbättringarna var blygsamma och osäkra statistiskt sett. Det intressanta är att vinsten verkar handla om att fixa schemafel i svar snarare än att modellen faktiskt resonerar bättre.