AI-agenter klarar inte att dra vetenskapliga slutsatser – trots höga poäng

arXiv cs.AI

Ett nytt riktmärke (PhysClosureBench) testade sju stora AI-modeller på 50 fysikforskningsuppgifter, och resultaten avslöjar en tydlig klyfta: Claude Opus 4 fick högst poäng av alla med 6,29 av 10, men lyckades bara nå fullständig forskningsavslutning i 32,7 % av fallen. Hela 36 % av försöken som scorade minst 8/10 misslyckades ändå med att faktiskt besvara forskningsfrågan ordentligt – modellerna presterar bra lokalt men tappar greppet om helheten.