Nytt testramverk avslöjar att AI-agenter misslyckas totalt med finansiell analys

arXiv cs.AI

Forskare har byggt FINCOSMOS, ett utvärderingssystem där AI-agenter ska utföra finansiell analys i verkliga förhållanden – hämta data från webben, tolka en användares dolda strategi och leverera verifierbara resultat. Resultatet är slående: i 150 testsessioner med fyra olika kodningsagenter klarade inte en enda session alla kontroller, och agenterna missade 36–46% av viktiga detaljer de inte fått explicit berättade för sig. Det intressanta är inte att agenterna är dåliga, utan att befintliga tester döljer felen genom att förenkla världen – FINCOSMOS visar vad som faktiskt händer när man tar bort den skyddsnätet.