Ny metod minskar brus i träningsdata för AI-belöningsmodeller

arXiv cs.AI

Ett vanligt problem när man tränar AI-modeller med mänsklig feedback (RLHF) är att datan är full av fel och subjektiva bedömningar – något som snedvrider modellens beteende. Forskarna bakom CleanRM löser detta genom att använda en liten mängd ren, tillförlitlig feedback för att kalibrera hur mycket brus varje enskilt datapunkt innehåller, via en teknik kallad optimal transport (ett matematiskt sätt att matcha fördelningar). I experiment slår metoden befintliga lösningar och ger bättre RLHF-träning i praktiken.