AI-agenter bygger egna tester för finansiella uppgifter – med blandade resultat

arXiv cs.AI

Forskare har låtit AI-agenter automatiskt konstruera testuppgifter för andra AI-agenter som utför finansiella arbetsuppgifter på datorer – ett slags självgenererande kvalitetskontroll. Systemet FinCUABuildAgent klarar att producera godkända testuppgifter i 31,3% av fallen, vilket är betydligt bättre än befintliga metoder som bara lyckas i 1,3–8,3% av fallen. Intressant nog handlar utmaningen inte om att AI:n är dålig på finans, utan om hur svårt det är att bygga tillförlitliga utvärderingar överhuvudtaget.