Ny metod låter AI lära sig av totala misslyckanden – inte bara delvis rätt svar

arXiv cs.AI

Ett problem med den populära träningsmetoden GRPO (en teknik för att förbättra AI:s resonemang) är att modellen inte lär sig något alls när den misslyckas med varje försök på ett problem. RSHD löser detta genom att låta modellen skriva en självkritisk notering om varje misslyckat försök och sedan försöka igen – noteringen godkänns bara om den faktiskt leder till fler rätta svar än tidigare. Metoden förbättrar konsekvent resultaten jämfört med vanlig GRPO, och förbättringarna håller i sig även på uppgifter modellen inte tränat på.