Nytt ramverk förbättrar hur AI-agenter lär sig av varje enskilt steg

arXiv cs.AI

Forskare har identifierat ett systematiskt problem i populära träningsmetoder (som GRPO) för stora språkmodeller: de är bra på att bedöma hela svar men dåliga på att värdera enskilda steg – vilket gör att värdefulla steg i misslyckade försök förbises. Det nya ramverket GRAFT löser detta genom att väva ihop alla träningstrajectorer till en graf och använda klassisk RL-teori (Bellman-iteration) för att beräkna vilket steg som faktiskt bidrog till resultatet. Tester på flera flerstegs-agentbenchmarks visar genomgående bättre prestanda än GRPO och liknande metoder.