Amazon bygger ny PyTorch-brygga för sina egna AI-chips
Amazon har lanserat TorchNeuron, ett nytt backend-system som låter AI-modeller skrivna i PyTorch (ett populärt ramverk för maskininlärning) köras effektivt på företagets egna Trainium-chips. Systemet använder runtime-optimeringar och en utvärderingsprocess driven av agentisk AI för att säkerställa att modellerna fungerar korrekt – vilket är intressant eftersom Amazon alltså använder AI för att testa sin egen AI-infrastruktur.
Djupdykning
Amazon har ett problem som alla stora molnleverantörer delar: de har byggt egna AI-chips (Trainium) men världens AI-kod är skriven för att köras på Nvidias hårdvara. TorchNeuron är Amazons brygga mellan dessa två världar – en backend till PyTorch, det dominerande ramverket för att bygga och träna AI-modeller, som låter befintlig kod köras på Trainium utan att utvecklare behöver skriva om allt från grunden. Det som gör det tekniskt knepigt är att "köra kod" och "köra kod effektivt" är helt olika saker – kompilatorn måste förstå hur man översätter de abstrakta matematiska operationerna i en modell till instruktioner som utnyttjar just Trainiums specifika arkitektur. Amazon använder dessutom agentisk AI (alltså AI-system som självständigt tar beslut och utför flerstegsuppgifter) för att driva utvärderingsprocessen, vilket är ett tecken på hur pass automatiserad chipoptimering håller på att bli. Det de flesta missar är att kampen om AI-infrastruktur egentligen handlar om ekosystem, inte råprestanda. Nvidia dominerar inte bara för att deras chips är snabba – de dominerar för att CUDA, deras programmeringsplattform, har haft tjugo år på sig att bli standard. Varje verktyg, varje tutorial, varje anställd ML-ingenjör kan CUDA. Amazon vet att de inte kan vinna det slaget direkt, så de försöker göra hårdvarubytet osynligt för utvecklarna istället.