Bytet av AI-modell mitt i en uppgift kostar mer än det smakar

arXiv cs.AI

Forskare har undersökt vad som händer när man byter språkmodell (LLM) mitt under en pågående kodningsuppgift – till exempel uppgraderar till en kraftfullare modell när den billigare kör fast. Resultatet är nedslående: en uppgradering återhämtar mindre än hälften av kvalitetsgapet mellan modellerna, men kostar betydligt mer – ett fenomen de kallar 'handoff tax'. Intressant nog fungerar nedgradering (från dyr till billig modell) bättre än väntat, särskilt om den billiga modellen får se hela den dyrare modellens arbetsspår.