Ny metod tränar AI-modeller på spridd data utan att dela känslig information

arXiv cs.AI

Forskare har tagit GRPO – en populär metod för att förbättra LLM-ers resonemang med förstärkningsinlärning – och byggt om den så att träningen kan ske federerat, alltså utspritt hos flera parter utan att rådata lämnar respektive organisation. Det smarta är att metoden använder belöningssignaler som redan genereras gratis under träningen för att styra hur modelluppdateringar vägs ihop, vilket minskar kommunikationsbehovet med upp till 32 gånger. På matematiska resonemangstester presterar Fed-GRPO bättre än andra federerade metoder och når nära resultaten från centraliserad träning – vilket är intressant för alla som hanterar reglerad data men ändå vill dra nytta av stora språkmodeller.