AI-agenter klarar bara en bråkdel av att återskapa ML-forskning

arXiv cs.AI

Ett nytt riktmärke kallat RECLAIM testade hur väl AI-agenter kan reproducera resultat från 100 NeurIPS 2025-artiklar – och resultaten är rätt nedslående: bästa agenten lyckades med 41% när kod och data fanns tillgängliga, 27% när modellen behövde tränas om, och bara 15% när koden saknades helt. Det mest frekventa felet var att agenten implementerade en metod utan att kontrollera den mot artikelns faktiska siffror – det hände i 63 av 400 körningar. Intressant nog använde misslyckade försök i snitt bara 29% av sin tilldelade GPU-budget, vilket tyder på att agenterna ger upp tidigt snarare än att kämpa vidare.