Nytt riktmärke testar om AI-agenter kan simulera fysik – resultaten är nedslående

arXiv cs.AI

Forskare har lanserat WorldSolver, ett testpaket med 168 simuleringuppgifter hämtade från 61 klassiska datorgrafikstudier, för att se hur väl AI-agenter kan bygga fysiksimulatorer (program som beräknar hur system rör sig och förändras över tid). De bästa modellerna, GPT-4.5 och Claude Opus, klarade bara 48,7 respektive 46,7 procent av uppgifterna – vilket visar att det fortfarande är genuint svårt för AI att kombinera fysikförståelse, matematik och kodning på en gång. Det är ett intressant resultat: trots att LLM:er (stora språkmodeller) ofta imponerar på koduppgifter räcker det inte när verkligheten kräver att koden också stämmer med fysikens lagar.