Ny metod låter AI-modeller välja när de ska 'tänka' – minskar textgenerering med upp till 51%

arXiv cs.AI

Forskare har byggt CounterRoute, ett system som automatiskt avgör när en språkmodell behöver resonera steg-för-steg (kedja av tankar) och när den kan svara direkt – utan att användaren behöver bestämma det manuellt. På Qwen3-8B minskade systemet antalet genererade tokens med 51% och på Qwen3-14B med 41%, utan att försämra precisionen. Intressant nog föll andelen 'tänkande' svar ner till 1% på enklare uppgifter som sunt förnuft och instruktionsföljning, vilket tyder på att modellen lärt sig när tänkandet faktiskt hjälper.