Hur man stjäl en AI-modells tankekedjor
Ny forskning visar att det går att extrahera och kopiera en AI-modells 'reasoning traces' – alltså de mellansteg modellen tänker igenom innan den svarar – genom en teknik som liknar 'speculative decoding' (där en mindre modell förutspår vad en större ska säga). I praktiken handlar det om en form av modell-destillation: man kan träna en billigare modell på en dyrare modells tankegångar utan direkt tillgång till vikternas kod. Det är intressant inte minst för företag som försöker hålla sina reasoning-modeller hemliga.
Djupdykning
Det pågår en tyst kapprustning i AI-världen just nu, och den handlar inte om vem som tränar de största modellerna – utan om vem som kan kopiera dem billigast. En ny teknik visar att man kan stjäla "reasoning traces" från proprietära modeller som o1 och Gemini Thinking genom att helt enkelt be dem tänka högt, spara ned de steg-för-steg-resonemangen, och sedan träna en billigare modell på just den datan. Det är i grunden destillation – ett begrepp som betyder att en liten modell lär sig efterlikna en stor genom att studera dess beteende snarare än att träna från grunden – men applicerat på något OpenAI och Google försöker hålla hemligt, nämligen själva tankeprocessen. Det de flesta missar här är att detta sätter hela affärsmodellen bakom reasoning-modeller under press. Om ett företag kan betala några tusen dollar i API-kostnader för att extrahera tankekedjan och sedan destillera den till en lokal modell, försvinner den konkurrensfördel som motiverar prislapparna för o1-Pro och liknande tjänster. Teknikjuristerna kommer att ha fullt upp, för det är oklart om reasoning traces överhuvudtaget skyddas av upphovsrätt – det är ju i slutändan matematiska steg, inte kreativt innehåll. Speculative decoding, som artikelns rubrik anspelar på, är en annan teknik där en liten modell gissar framåt och en stor modell verifierar – men poängen är densamma: storleksgapet mellan öppna och slutna modeller krymper snabbare än nästan någon förutspådde för ett år sedan.