Ny träningsmetod låter AI-modeller lära sig av sig själva utan extern lärare
Forskare har utvecklat RISE, en metod där en språkmodell tränar sig själv genom att extrapolera – alltså projicera framåt – skillnaden mellan olika versioner av sig själv under träningens gång, utan att behöva en extern lärarmodell. Det smarta är att 'läraren' uppdateras varje iteration i takt med att modellen förbättras, vilket gör förbättringen rekursiv snarare än en engångsprocess. I tester på matematik, STEM, kodgenerering och agentuppgifter presterade RISE bättre än befintliga träningsmetoder i samtliga kategorier.
Djupdykning
Träning av stora språkmodeller handlar i grunden om att ge modellen feedback – men frågan är alltid varifrån den feedbacken ska komma. Den vanliga lösningen är att låna en starkare "lärar-modell" som visar hur man ska tänka, steg för steg, men problemet är att läraren och eleven ofta har olika referensramar, ungefär som att be en olympisk gymnast förklara hur man gör ett hjul till ett nybörjarbarn. RISE löser det här genom att istället titta på hur modellen själv har förändrats under träningens gång – den mäter skillnaden mellan var modellen är nu och var den var för ett tag sedan, och extrapolerar sedan den riktningen framåt för att konstruera en hypotetisk "framtida version av sig själv" att lära av. Det är lite som att se på sin egen förbättringskurva och fråga: om jag fortsätter i den här riktningen, hur hade jag löst det här problemet imorgon – och sedan träna på det svaret redan idag. Det de flesta missar är att RISE egentligen angriper ett grundläggande problem med hur AI-modeller förbättras: standardmetoderna ger antingen gles feedback (du fick rätt eller fel svar, inga detaljer) eller tät men missanpassad feedback från en extern modell. RISE kombinerar båda världarnas fördelar genom att använda det grova utfallssignalen för att hålla extrapolationen på rätt spår, medan den täta token-för-token-undervisningen faktiskt förfinar hur modellen resonerar internt. Och eftersom läraren uppdateras varje iteration i takt med att eleven blir bättre, slutar det vara en engångsprocess och blir istället en självförstärkande loop – vilket förklarar varför det presterar bättre än båda metoderna var för sig i tester på matematik, kodning och flerstegsuppgifter.