Franska ZML lanserar gratis mjukvara för snabbare AI-inferens
Det franska AI-startupet ZML – med stöd av Turingpristagaren Yann LeCun – har släppt ett gratis verktyg kallat ZML/LLMD som gör det billigare och snabbare att köra AI-modeller på en rad olika chip. Tanken är att mjukvaran ska fungera över flera hårdvaruplattformar, vilket potentiellt minskar beroendet av specifika leverantörer som Nvidia.
Djupdykning
ZML är ett franskt AI-bolag som fått stöd av Yann LeCun – mannen bakom mycket av den moderna djupinlärningen och en av de absolut tyngsta namnen i branschen – vilket i sig är en kvalitetsstämpel värd att notera. Det de nu släpper gratis är mjukvara som optimerar inferens, alltså den fas när en redan tränad AI-modell faktiskt används för att svara på frågor eller generera innehåll, vilket är den del som kostar riktiga pengar i drift. Problemet de löser är att AI-chips från olika tillverkare – Nvidia, AMD, Google, med flera – alla pratar olika "språk" och kräver separat optimering, vilket gör det dyrt och krångligt att köra modeller i stor skala. Genom att deras verktyg fungerar tvärs över många olika chiparkitekturer sänker de tröskeln för företag som inte vill vara helt låsta till Nvidias ekosystem. Det de flesta missar här är att kampen om AI inte bara handlar om vem som tränar de smartaste modellerna – den handlar lika mycket om vem som kontrollerar infrastrukturen för att köra dem billigt. Varje procentenhet lägre inferenskostnad är direkt pengar i fickan för alla som bygger AI-produkter, och ett gratis verktyg som sänker den kostnaden förändrar kalkylen för hundratals bolag som just nu sitter och räknar på om deras AI-feature ens är lönsam att ha igång.