Ny teknik minskar väntetiden för AI-agenter med upp till 45 procent

arXiv cs.AI

Forskare har tagit fram en metod kallad Speculative Macro Commit (SMC) som låter AI-agenter – de som använder verktyg och utför flera steg i rad – jobba snabbare genom att en mindre, snabb modell förutsäger och kör framtida åtgärder i förväg, medan den stora huvudmodellen bekräftar dem i efterhand. I tester med Qwen-modeller minskade väntetiden med upp till 44,9 procent jämfört med vanlig sekventiell körning. Tricket är att systemet återanvänder vanliga handlingsmönster från träningsdata, ungefär som kortkommandon för agenten.