Nytt benchmark testar AI-agenter på japanska hästkapplöpningar

arXiv cs.AI

Forskare har skapat JockeyBench, ett test där AI-agenter (LLM-baserade) försöker förutsäga utfallet av 324 japanska hästlopp. Resultatet är nedslående: alla 28 testade konfigurationer gick back i simulerade vadslagningar, trots att vissa modeller visade förmåga att lära sig över tid. Det intressanta här är inte hästarna i sig, utan att testet avslöjar hur svårt det är för AI att kombinera brusig information, resurshushållning och faktiska beslut i upprepade scenarion.