Nytt testramverk mäter om AI-agenter fattar bättre beslut efter experiment

arXiv cs.AI

Forskare har byggt CrashGym, en simulator för finansmarknader där AI-agenter får testa olika ingrepp innan de fattar ett riktigt beslut vid en marknadskrasch. Resultaten visar att tillgång till ett 'laboratorium' minskade felbeslut (regret) med 57,4% för den mest studerade modellen – från 8,878 till 3,785 i felpoäng. Det intressanta är inte finansaspekten utan metodiken: äntligen ett sätt att faktiskt mäta om ett AI-systems experimentande leder till smartare beslut, snarare än bara bättre gissningar.