Nytt ramverk låter svagare AI-modeller ta första steget – och sparar halva beräkningskraften

arXiv cs.AI

Forskare föreslår CAUC, ett system där flera AI-modeller samarbetar i en kedja: en enklare modell hanterar lätta frågor och skickar vidare de svårare till en kraftfullare – men bara när den verkligen behöver det. På språkbenchmarks klarar systemet 1,9% bättre träffsäkerhet än att alltid köra den starka modellen, samtidigt som ungefär 47% av anropen till den dyra modellen undviks. På bildklassificering minskar beräkningskostnaden (mätt i GFLOPs, ett mått på hur tungt jobbet är) med upp till 57%.