NVIDIAs nya nätverkschip Spectrum-6 ska hålla ihop AI-fabriker med hundratusentals GPU:er
NVIDIA lanserar Spectrum-6, ett nätverkschip byggt för att hantera kommunikationen i så kallade AI-fabriker – datacenter med hundratusentals GPU:er som tränar stora AI-modeller. På den här skalan blir nätverkshastigheten en direkt flaskhals för hur snabbt modeller kan genereras, vilket är precis det problem Spectrum-6 är tänkt att lösa. Chipet är anpassat för NVIDIAs kommande GPU-generation Vera Rubin.
Djupdykning
NVIDIAs nya Spectrum-6-nätverk är byggt specifikt för Vera Rubin-generationens GPU:er och syftar till att lösa ett problem som blir allt mer akut när AI-fabriker växer: att hundratusentals chips faktiskt kan prata med varandra snabbt nog för att fungera som ett enda sammanhängande system. När du tränar en stor språkmodell spenderar GPU:erna enormt mycket tid på att vänta på data från varandra, och nätverket däremellan – inte beräkningskraften i sig – blir flaskhalsen. "Gigascale" syftar på att dessa datacenter nu opererar i en skala där gamla nätverksarkitekturer helt enkelt inte håller, ungefär som att försöka köra ett modernt operativsystem på en 90-talsdator. Det de flesta missar här är att NVIDIA inte bara säljer chips längre – de bygger ut hela infrastrukturstacken och gör sig själva till en nödvändig komponent i varje lager av AI-produktionen. Spectrum-6 är ännu ett steg mot ett ekosystem där det blir extremt kostsamt att byta ut en enda del utan att byta ut allt. Hur det påverkar konkurrenter som Infiniband-alternativ och öppna nätverksstandarder på sikt är en fråga som branschen inte riktigt har landat i ännu.