Varför AI-beräkning sker i rektanglar – och vad det kostar att driva agenter i molnet
Modal-vd:n Erik Bernhardsson dyker ner i varför GPU-kluster är fysiskt formade som rektanglar – det handlar om hur data färdas mellan chips med minsta möjliga fördröjning. Mer intressant är diskussionen om 'agent cloud': när AI-agenter körs autonomt i sandlådor behöver infrastrukturen vara elastisk på millisekundsnivå, vilket förändrar hela affärsmodellen för molntjänster.
Djupdykning
GPUs levereras i rektanglar — och det är inte en slump. Erik Bernhardsson, VD för infrastrukturföretaget Modal, förklarar att grafikprocessorers fysiska design och hur de kopplas ihop i kluster tvingar fram rektangulära konfigurationer av beräkningskraft, vilket i sin tur styr hur AI-arbetsbelastningar prissätts och allokeras. Det här låter som ett tekniskt petitess men är faktiskt kärnan i varför molntjänster för AI är så pass dyra och stela — du betalar för en rektangel oavsett om du behöver hela den. Bernhardsson argumenterar för "elastiska GPUs", alltså möjligheten att dynamiskt skala upp och ner beräkningskraft sekund för sekund snarare än att hyra fasta block, vilket är precis vad som krävs när AI-agenter — autonoma program som utför uppgifter utan konstant mänsklig styrning — börjar dominera arbetsflödena. Det de flesta missar i den här debatten är att skiftet från "vi kör en modell" till "vi kör tusentals kortlivade agentprocesser" fundamentalt förändrar ekonomin. En agent som söker på webben, skriver kod och kontrollerar ett svar kanske bara behöver GPU i tre sekunder — men dagens infrastruktur debiterar dig för minuter eller timmar. Vinnarna i nästa fas av AI-boomen är troligen inte de som bygger smartast modeller, utan de som löser det här faktureringsproblemet.