Ny metod låter AI förbättra sin egen träning utan att fuska

arXiv cs.AI

Forskare har utvecklat RRI (Recursive Reward Improvement), en metod där en AI-modell aktivt försöker lura sitt eget bedömningssystem – för att sedan täppa igen hålen och därigenom skapa bättre träningsuppgifter. Problemet man löser är klassiskt: när en AI skriver egna träningsuppgifter med bedömningsmallar ("rubrics") lär sig modellen snabbt att rada upp rätt buzzwords utan att faktiskt förstå innehållet. På det medicinska riktmärket HealthBench Professional förbättrades resultaten med 10,9–12,4 poäng jämfört med tidigare självförbättringsmetoder, och förbättringarna höll i sig även på helt nya testset som modellen aldrig sett.