Nytt test avslöjar att AI-agenter kämpar med verkliga kunduppdrag

arXiv cs.AI

Forskare har skapat FDE-Gym, ett benchmark med 95 verkliga leveransuppdrag, för att testa om AI-agenter klarar av det som faktiskt krävs i kundprojekt – alltså att lista ut otydliga krav och jobba i levande system. Det bästa av 13 testade modellkonfigurationer löste bara 14 av 95 uppgifter ordentligt och landade på ett genomsnittligt poäng på 0,56 av 1,0. Det intressanta är att även när modellen lyckades samla in all relevant information från simulerade intressenter, klarade den fortfarande bara hälften av dessa uppgifter – så problemet handlar inte bara om att ställa rätt frågor.