Nytt mått avslöjar hur AI-modeller 'tänker' under beräkningens gång

arXiv cs.AI

Forskare har tagit fram ett mått kallat 'routing effective rank' för att förstå vad som händer inuti MoE-modeller (en typ av AI där olika expertmoduler aktiveras för olika uppgifter) när de löser matematik- och vetenskapsproblem. Måttet visar ett konsekvent mönster i 98,5% av 3 105 testfall: beräkningen börjar fokuserad, sprider ut sig i mitten, och samlas ihop igen i slutet. Intressant nog skjuter mer beräkningstid upp toppunkten med i snitt 2,59 fördubblingar av tokenbudgeten – vilket ger en tydligare bild av hur modeller faktiskt organiserar sitt 'resonemang' utan att man behöver titta på svaren.