Reactor och AWS löser realtidsvideogenerering på Amazons egen AI-chip
Reactor och AWS har tillsammans lyckats köra autoregressiv diffusion (en metod där AI genererar video bildruta för bildruta i realtid) på Amazons egna AI-chip Trainium – något som tidigare var tekniskt knepigt på grund av hur minnets hanteras. Tricket var att använda Neuron Kernel Interface för att skriva skräddarsydd lågnivåkod som styr chipet mer direkt, och det intressanta är att teknikerna de utvecklade ska fungera för flera olika modeller framöver.
Djupdykning
Reactor och AWS har gemensamt byggt ett system för realtidsgenerering av video direkt på Amazons egna AI-chip Trainium – och vägen dit handlade till stor del om att lösa problem som de flesta inte ens tänker på när de drömmer om AI-genererad video. Neuron Kernel Interface (NKI) är i grunden ett lågnivå-programmeringsgränssnitt som låter utvecklare skriva anpassad kod tätt integrerad med hårdvarans faktiska beräkningskärnor, istället för att förlita sig på generella ramverk som ofta lämnar prestanda på bordet. Utmaningen med autoregressive diffusion – där modellen genererar video bildruta för bildruta och varje steg beror på det förra – är att beräkningarnas form och storlek ständigt förändras, vilket skapar kaos för minneshanterings- och cachesystem som helst vill ha förutsägbara mönster. Det som Reactor och AWS faktiskt löste är alltså inte primärt ett "videogenereringsproblem" utan ett systemproblem: hur får du ett chip att arbeta effektivt när arbetet ser olika ut från millisekund till millisekund. Det de flesta missar i den här typen av nyheter är att lösningarna är modell-agnostiska – teknikerna de utvecklat för att hantera dynamiska former och minnesåtkomst fungerar i princip för vilken autoreggressiv modell som helst, vilket gör detta till infrastrukturarbete med betydligt bredare räckvidd än en enskild videoprodukt.