Större belöningsmodeller ger bättre AI-träning – men inte på det sätt du tror

arXiv cs.AI

Forskare har undersökt hur så kallade belöningsmodeller (reward models – AI som bedömer kvaliteten på andra AI:ers svar) påverkar träning av textgenerering. Paradoxalt nog visar sig enklare belöningsmodeller prestera bättre i praktiken: de gav högre kvalitet på slutresultatet i 7 av 8 testfall, trots att mer avancerade modeller var noggrannare på statiska tester. Storleken på belöningsmodellen spelar däremot roll – en större belöningsmodell än den policy som tränas ger märkbara förbättringar.