Modellrouting: Så hanterar företag växande AI-kostnader
När stora AI-modeller blir dyrare väljer allt fler företag 'modellrouting' – ett system som automatiskt skickar enkla frågor till billigare modeller och reserverar de dyrare för komplexa uppgifter. Gleans vd Arvind Jain beskriver hur mänsklig feedback i stor skala hjälper dem finjustera vilken modell som används när, vilket kan skära ner kostnaderna rejält utan att kvaliteten försämras.
Djupdykning
Modellrouting är konceptet att automatiskt skicka olika AI-frågor till olika modeller beroende på vad uppgiften faktiskt kräver — en enkel sammanfattning behöver inte samma tunga (och dyra) modell som en komplex juridisk analys. Gleans VD Arvind Jain pekar på ett verkligt problem: när företag börjar använda AI i stor skala exploderar kostnaderna, eftersom de flesta defaultar till att alltid köra toppmodellerna oavsett om det är nödvändigt. Det händer samtidigt som open-weights-modeller (alltså modeller vars "recept" är öppet tillgängliga och kan köras på egna servrar) blivit tillräckligt bra för att sköta en stor del av vardagsuppgifterna. Feedbackloopen Jain beskriver är det verkligt svåra: systemet måste lära sig när det valde fel modell, och den signalen kommer ofta indirekt — en användare som ställer en följdfråga, en chef som skriver om ett svar, en process som kraschar. Det de flesta missar är att modellrouting egentligen handlar mindre om teknik och mer om organisatorisk självkännedom — ett företag måste faktiskt förstå vilka av dess AI-arbetsflöden som är kognitivt tunga och vilka som är glorifierad autofyll, och den kartläggningen har de flesta inte gjort.