Första studien visar klimatfotavtrycket av AI-forskning
Forskare har för första gången kartlagt den totala miljöpåverkan från att utveckla en AI-modell - från experimentstadium till färdig produkt. När de analyserade skapandet av Moshi (en 7 miljarder parameter språkmodell) upptäckte de att de flesta studier bara rapporterar energiförbrukningen för slutgiltig träning, men missar alla misslyckade experiment och utvecklingsfaser som ofta står för majoriteten av beräkningskraften.
Djupdykning
Kyutai lab har gjort något banbrytande genom att faktiskt visa hela miljöräkningen för att skapa deras AI-modell Moshi – inte bara slutträningen som alla andra rapporterar, utan hela forskningsprocessen inklusive misslyckade experiment och debugging. Det här är första gången någon visat hur mycket energi som verkligen går åt när man utvecklar en stor språkmodell, och siffrorna är troligen mycket högre än vad teknikjättarna vill erkänna. Studien avslöjar att det mesta av energiförbrukningen inte kommer från den slutliga träningen utan från alla månader av trial-and-error, vilket förklarar varför Google och OpenAI är så hemlighetsfulla med sina verkliga miljösiffror. Det ironiska är att medan alla pratar om AI:s potential att lösa klimatkrisen spenderar vi enorma mängder energi på att träna modeller som kan prata med människor i realtid – något som inte direkt löser världens mest akuta problem.