Modellrouting: enkelt i teorin, knepigt i praktiken
Modellrouting – att automatiskt välja rätt AI-modell för rätt uppgift – låter enkelt men visar sig snabbt bli komplext när man väger kostnad, hastighet och kvalitet mot varandra. Hugging Face går igenom hur systemen ofta misslyckas när trafiken varierar eller när uppgifterna inte passar neatly in i fördefinierade kategorier. Det är ett underskattat infrastrukturproblem som växer i takt med att fler bygger multi-modell-pipelines.
Djupdykning
Att välja rätt AI-modell för rätt uppgift låter trivialt – skicka enkla frågor till billiga modeller, komplexa till dyra, klart. Men i praktiken är det här ett av de svåraste ingenjörsproblemen just nu, för "komplexitet" är inte en objektiv egenskap hos en fråga, det är något som måste bedömas i realtid av ett system som inte alltid vet vad det inte vet. Routing-lagret, det vill säga den kod eller modell som bestämmer vem som ska svara, kan i sig kosta mer i latens och pengar än vad du sparar på att skicka enklare queries till GPT-3.5 istället för GPT-4. Det gör att många team antingen överdimensionerar (kör allt på den dyraste modellen för säkerhets skull) eller underdimensionerar (sparar pengar tills en kund råkar ut för ett haveri som en starkare modell hade undvikit). Den verkliga utmaningen är att felen i routing-besluten är tysta – du ser sällan exakt när en för svag modell gav ett tillräckligt bra svar som råkade vara fel, och det är den typen av systematiska bias som smyger sig in i produktionssystem utan att någon märker det förrän skadan är skedd.