Smarter AI-routing: låt historiken avgöra vilken modell som ska svara

arXiv cs.AI

Forskning om hur man bäst väljer mellan dyr och billig AI-modell i flerstegssystem (så kallade agenter) visar att routern behöver känna till konversationshistoriken – inte bara den aktuella frågan. Med historik i bagaget klarar den billigare modellen sig nästan lika bra som om man alltid kört den dyra, och kostnadsfördelarna med en billigare modell krymper från 6,8 gånger billigare till 3,2 gånger på längre sessioner. En praktisk tumregel från studien: att byta ned till en billigare modell är lönsamt efter bara två anrop, medan att byta upp till en dyrare sällan lönar sig.