Ny metod avgör när små AI-modeller behöver förstärkning

arXiv cs.AI

Forskare har utvecklat ett sätt att styra trafik mellan små och stora språkmodeller (LLM) utan att behöva facit på om svaren är korrekta – ett vanligt flaskhalseproblem. Metoden bygger på att mäta oenighet mellan modellernas egna svar, och i tester presterade den bättre än metoder som tränas direkt på korrekthetssignaler. Det är praktiskt relevant eftersom små modeller allt oftare körs lokalt på enheter som robotar, där man inte har råd med fördröjningen från ett stort moln-API varje gång.