Smarta utkastmodeller kan förbättra AI-agenters långsiktiga resonemang
Forskare har hittat ett oväntat sätt att göra AI-agenter bättre på komplexa, långa uppgifter: genom att träna en liten 'utkastmodell' (en hjälpmodell som föreslår tokens för att snabba upp generering) att avsiktligt bli avvisad vid kritiska beslutspunkter, så att huvudmodellen tar över precis när det gäller som mest. Tekniken kräver ändringar av bara 0,06–0,28 % av parametrarna och förbättrar prestandan på svåra kodningsuppgifter utan att röra huvudmodellen alls. Det intressanta är att något som ansågs vara ett rent prestandaknep visar sig faktiskt påverka vad modellen tänker — och det kan man utnyttja.
Djupdykning
Speculative decoding är en teknik där en liten, snabb "utkastmodell" genererar tokens som sedan verifieras av den stora, dyra huvudmodellen – om utkastet godkänns sparar man beräkningstid, om det förkastas får huvudmodellen göra jobbet själv. Det har alltid behandlats som ren infrastrukturoptimering, ungefär som att cacha webbsidor: snabbare, men resultatet ska vara identiskt. Det den här forskningen visar är att det antagandet inte håller när AI-agenter ska lösa komplexa uppgifter med många steg – numeriskt brus ackumuleras i verifieringsfönstren och efter ungefär 30 steg börjar godkända utkastsTokens faktiskt påverka modellens resonemang i oförutsägbara riktningar. Det de flesta missar är att lösningen de hittade är counterintuitiv på gränsen till elegant: istället för att träna utkastmodellen att bli bättre på att bli godkänd, tränar de den att bli avvisad vid just de kritiska beslutspunkterna. När utkastet förkastas tar huvudmodellen över och samplar tokens under sina minst brusiga förhållanden – de viktiga tankestegen kodas alltså med högsta möjliga precision. Resultatet är förbättrad prestandai komplexa kodningsuppgifter utan att röra en enda parameter i huvudmodellen, bara 0,06–0,28 procent av utkastmodellens parametrar behöver justeras. Det omdefinierar speculative decoding från en gaspedal till något som aktivt styr var i ett resonemang som precision faktiskt allokeras.