Google Cloud och NVIDIA lanserar ny AI-infrastruktur brett tillgänglig nästa månad
Google Cloud och NVIDIA gör sina A5X-instanser – drivna av NVIDIAs nya Vera Rubin NVL72-chip – allmänt tillgängliga nästa månad, med planerad expansion till Europa. Plattformen kombinerar NVIDIAs senaste hårdvara med Googles eget nätverkslager och vätskekylning, och riktar sig till företag som tränar stora AI-modeller eller kör så kallad reinforcement learning i stor skala. Intressant nog sker lanseringen mitt i en intensiv kapprustning mellan molnjättarna om att locka till sig AI-tung infrastrukturefterfrågan.
Djupdykning
Google Cloud och NVIDIA tar nu sitt senaste samarbete till nästa nivå med lanseringen av A5X-instanser baserade på NVIDIAs färska Vera Rubin-arkitektur – uppkallad efter astronomen som upptäckte bevis för mörk materia, om du undrar. Det här handlar om hårdvara byggd specifikt för de tyngsta AI-arbetsbelastningarna: träning av stora modeller, inferens (när en redan tränad modell faktiskt används för att ge svar) och reinforcement learning i stor skala, vilket är tekniken bakom bland annat ChatGPTs förmåga att bli bättre genom feedback. Paketet kombinerar NVIDIAs eget höghastighets-nätverkskort ConnectX-9 med Googles egenutvecklade nätverksinfrastruktur och avancerad vätskekylteknik – för när luftkylning helt enkelt inte räcker till längre. Det de flesta missar i den här typen av tillkännagivanden är att kampen om AI-infrastruktur inte längre handlar om vem som har de snabbaste chipsen, utan om vem som kan flytta data snabbast *mellan* chipsen. En NVL72 är 72 GPU:er sammankopplade som ett enda system, och flaskhalsen är nästan alltid kommunikationen dem emellan – därav det obskyra men kritiska fokuset på SuperNICs och nätverksdesign. Att Google rullar ut detta i Europa inom kort signalerar också att de europeiska regelkraven kring datasuveränitet börjar tas på allvar som en affärsmöjlighet snarare än ett hinder.