Forskning visar att AI-modeller kan lära sig av korrigerande feedback
Forskare har utvecklat en metod för att träna språkmodeller att lära sig interaktivt från korrigerande feedback, vilket gör att mindre modeller kan prestera nästan lika bra som modeller som är tio gånger större. Metoden förvandlar enkla uppgifter till flervänds-dialoger där modellen får kritik och kan anpassa sig, vilket också fungerar över olika områden som matematik, kodning och problemlösning.
Djupdykning
Forskare har utvecklat en metod för att träna AI-modeller att faktiskt lära sig från feedback under konversationer, precis som människor gör när de får korrigeringar och tips. Istället för att bara mata modeller med enorma mängder text och hoppas att de ska förstå feedback naturligt, behandlar de detta som en specifik färdighet som går att träna. Det visar sig att nuvarande toppmodeller som GPT faktiskt är dåliga på att anpassa sitt resonemang baserat på korrigerande feedback mitt i en konversation. Genom att träna mindre modeller med denna interaktiva metod kunde forskarna få dem att prestera nästan lika bra som modeller som är tio gånger större, och de kunde till och med lära sig att självkorrigera utan extern hjälp. Nyckelinsikt: Detta kan revolutionera hur vi tränar AI genom att fokusera på interaktiv inlärning snarare än att bara mata dem med mer data.