Ny schemaläggningsmetod minskar väntetider för AI-agenter med upp till 3,5 gånger

arXiv cs.AI

Forskare har tagit fram en smartare metod för att schemalägga arbetet i agentic LLM-arbetsflöden (där AI-modeller växlar mellan att tänka och använda verktyg) – istället för att direkt köa varje uppgift när den är klar, väger systemet in risken för förseningar längre fram. Under hög belastning minskade metoden P95-svarstiden (den tid inom vilken 95% av jobben slutförs) med upp till 3,5 gånger jämfört med standardmetoden. Det intressanta är att vinsten i princip är gratis: under låg belastning presterar den lika bra som den gamla metoden.