Har AI-agenter bra omdöme? Nya rön säger: inte riktigt

arXiv cs.AI

Forskare har tagit fram ett nytt sätt att mäta om AI-agenter fattar kloka beslut under långa, komplexa uppgifter – ett slags 'smak' för vad som är rätt väg att gå. De bästa modellerna svarar rätt på bara 59,7% av frågorna, och fler beräkningsresurser hjälper inte nämnvärt. Det intressanta är att man kan träna upp detta omdöme: en modell som lär sig av en lärare som redan sett utfallet presterar märkbart bättre på nya, osedda uppgifter.