Nytt riktmärke visar att AI-agenter misslyckas med verkligt professionellt arbete

arXiv cs.AI

Forskare har testat 30 AI-modeller på 130 verkliga arbetsuppgifter inom vård och finans – uppgifter som normalt tar en människa 13–17 timmar att slutföra. Bästa modellen, Claude Opus 5.5, klarade knappt 25% av uppgifterna, medan den genomsnittliga modellen klarade under 3%. Det intressanta är inte bara de låga siffrorna, utan hur agenterna misslyckas: de accepterar felaktiga premisser och för med sig fel antaganden rakt igenom annars korrekta analyser.