Ny metod för AI-verktygsval slår standard-RL med nästan 7 poäng i genomiktest

arXiv cs.AI

Forskare visar att den vanliga metoden för att träna AI att välja externa verktyg – GRPO (en typ av förstärkningsinlärning) – har en inbyggd svaghet: när träningen går bra börjar modellen sampla samma val om och om igen, vilket gör att belöningssignalen försvinner. Som lösning presenteras FGPO, som istället utvärderar alla möjliga verktygsval uttömmande, och i 15 av 15 testfall på genomikdata slår den GRPO med i snitt 6,75 poäng. Praktiskt nog minskar FGPO också antalet anropade verktyg per fråga från 2,36 till 1,40 – det är alltså både smartare och billigare.