Ny metod identifierar vilka resonemangssteg som faktiskt bidrar i AI-modeller
Forskare har tagit fram 'Parallel Shapley', ett träningsramverk som använder spelteori (Shapley-värden från kooperativ spelteori) för att avgöra vilka av en språkmodells parallella resonemangssteg som faktiskt bidrar till rätt svar – och vilka som bara åker snålskjuts. Problemet idag är att alla steg får samma belöning oavsett om de hjälper eller stjälper, vilket ger röriga träningssignaler. I tester på matematiska resonemangsbenchmarks presterade metoden bättre än befintliga alternativ och gav stabilare träning.
Djupdykning
När AI-modeller löser komplexa problem låter man dem ofta generera flera parallella "tankespår" samtidigt – ungefär som att ha ett team som brainstormar – och belönar sedan hela gruppen om slutsvaret blir rätt. Problemet är att det skapar gratispassagerare: tankespår som inte bidrar till något men som ändå skördar belöningen, vilket gör träningen suddig och ineffektiv. Forskarna bakom Parallel Shapley lånar ett koncept från spelteori – Shapley-värden – som ursprungligen utvecklades för att fördela vinster rättvist mellan spelare baserat på deras faktiska marginella bidrag till ett utfall. I praktiken innebär det att varje tankespår bedöms utifrån hur mycket sämre resultatet hade blivit utan just det spåret, vilket ger en betydligt skarpare träningssignal. Det de flesta missar är att problemet egentligen inte handlar om att AI-modeller tänker "fel" – de tänker bara otydligt belönat. Nuvarande träningsmetoder för resonemang är lite som att ge hela fotbollslaget bonus oavsett vem som faktiskt scorade, vilket över tid premierar passivitet lika mycket som prestation. Att applicera kooperativ spelteori på LLM-träning är ett tecken på att fältet mognar: vi rör oss från "gör modellen större" mot "gör träningssignalen smartare", och det är en förskjutning som kan få oproportionerligt stora effekter på hur tillförlitliga och resurseffektiva framtida modeller blir.