Mindre AI-modell är inte alltid grönare – det beror på uppgiftens längd

arXiv cs.AI

En ny studie utmanar antagandet att mindre språkmodeller automatiskt är mer energieffektiva: när en AI-agent utför flerstegiga uppgifter kan en liten, opålitlig modell faktiskt förbruka mer energi totalt än en större, eftersom misslyckade försök också kostar resurser. Forskarna testade 15 öppna modeller (0,6B–27B parametrar) och fann att det finns en brytpunkt – vid korta uppgifter vinner små modeller, vid långa uppgifter är stora modeller bättre. Det är ett enkelt men viktigt skifte i hur man jämför modeller: räkna per slutförd uppgift, inte per anrop.