Nya metoden minskar AI-modellers "övertänkande" med upp till 63 procent
Forskare har hittat ett sätt att styra hur resonerande AI-modeller fördelar sin beräkningstid, utan att behöva träna om dem. Genom att justera vilka experter som aktiveras i så kallade MoE-modeller (Mixture-of-Experts – en arkitektur där olika delar av modellen specialiserar sig på olika uppgifter) kunde de minska antalet genererade tokens med i median 30 procent, utan att noggrannheten föll mer än 0,5 procentenheter. Det intressanta är egentligen hur mycket compute som slösas på att modeller fortsätter räkna efter att de redan löst problemet – och att det faktiskt går att åtgärda utan dyr omskolning.
Djupdykning
De senaste stora AI-modellerna är ofta byggda med en arkitektur som kallas Mixture-of-Experts, eller MoE – tänk dig att modellen inte aktiverar hela sin "hjärna" för varje token, utan dynamiskt väljer vilka specialistdelar som ska jobba, beroende på vad den håller på med. Det här pappret visar att de här routningsbesluten – alltså vilka experter som aktiveras – faktiskt avslöjar vad modellen *gör* tankemässigt, inte bara vad den *säger*. Forskarna tränade enkla linjära klassificerare på routerlogits och kunde med hög träffsäkerhet avgöra om modellen planerade, härlede, reflekterade eller drog slutsatser – med hälften så många datapunkter som man normalt behöver. Det de flesta missar är att problemet inte bara handlar om att modeller "tänker för länge" i någon vag mening – det handlar om att de fastnar i specifika beteenden, framför allt verifiering och omformulering, långt efter att de redan löst uppgiften korrekt. Genom att justera routerscores under inferens, utan att träna om modellen överhuvudtaget, lyckades de minska antalet genererade tokens med i median 30 procent, ibland upp till 63 procent, utan att noggrannheten sjönk nämnvärt. Det här antyder att MoE-arkitekturer råkar ha byggt in en tolkbar karta över reasoning-beteende som ingen riktigt planerade för – och att den kartan kan bli ett styrspak för att göra inferens dramatiskt billigare, vilket är en av de mest akuta kostnadsproblemen för alla som driftsätter dessa modeller i stor skala.