Debatten om GPU-kärnor blossar upp igen – och Cursor lanserar nytt

Inom GPU-programmering har "megakernels" länge varit en gråzon — det handlar om att stoppa så mycket beräkningslogik som möjligt i ett enda stort GPU-program istället för att dela upp det i många mindre steg, vilket kan minska overhead men också göra koden nästan omöjlig att debugga eller optimera. Debatten om huruvida megakernels är en bra idé är alltså inte ny, men den har fått nytt liv i takt med att moderna LLM-inferensmotorer som Flash Attention och olika kompilatorer har förändrat spelplanen rejält. Det verkliga skälet till att den här diskussionen flammar upp igen är att hårdvaran har förändrats snabbare än programmeringsparadigmen — vad som var optimalt på en A100 behöver inte alls vara det på en H100 eller kommande Blackwell-chips, och det tvingar ingenjörer att ifrågasätta antaganden de tagit för givna i flera år. Cursor-lanseringen i samma nyhetsbrev är inte bara ett sidospår — det signalerar att AI-verktyg för kodning nu är tillräckligt mogna för att faktiskt delta i den här typen av lågnivå-arkitekturdiskussioner, vilket är en ganska stor förändring från när de knappt klarade av att skriva en korrekt for-loop. Det de flesta missar i den här debatten är att den egentligen handlar om vem som får bestämma hur hårdvaran används — mjukvaruingenjörerna, kompilatorn, eller chipstillverkaren — och svaret på den frågan kommer att forma hur nästa generations AI-modeller faktiskt tränas och körs i produktion.