Hybridmodell skär LLM-kostnader med upp till 90% för känslostyrning i kundtjänst-AI

arXiv cs.AI

Forskare har testat ett system där en billig lokal modell hanterar de flesta samtal, men skickar vidare de svåraste fallen till GPT-4o-mini – och resultatet är både bättre träffsäkerhet och dramatiskt lägre kostnad: 10–85 dollar per miljon yttranden jämfört med 99–170 dollar för ett rent LLM-upplägg. Intressant nog presterar det enkla ensemblsystemet faktiskt bättre än GPT-4o-mini på ett av de tre testdataseten, vilket visar att större modell inte automatiskt betyder bättre resultat. Mönstret är tydligt – systemet eskalerar framför allt vid känsloväxlingar i konversationen, vilket ger operatörer ett begripligt och granskningsbart beslutsstöd.