Nytt riktmärke testar AI-agenter på riktiga finansmarknader i 30 dagar

arXiv cs.AI

Forskare har skapat LiveMACEBench – ett utvärderingssystem som låter fem stora språkmodeller agera som autonoma handelsagenter på riktiga finansmarknader under 30 dagar, istället för att bara mäta slutresultat. Det intressanta fyndet: hur bra en agent presterar ekonomiskt säger ofta väldigt lite om hur väl den faktiskt använder sina verktyg som minne, regelföljning och samarbete med andra agenter. Med andra ord kan två agenter nå samma avkastning av helt olika anledningar – vilket gör traditionella topplistor missvisande.