Nytt verktyg minskar GPU-slöseri vid träning av stora AI-modeller

arXiv cs.AI

Att konfigurera träning av stora språkmodeller över hundratals GPU:er är idag en kostsam process av trial-and-error – men forskarna bakom Primus Projection hävdar att de kan förutsäga genomströmning (hur mycket data systemet processar) med under 5% felmarginal, utan att behöva köra testerna i full skala. På DeepSeek V3 med 671 miljarder parametrar och 1 024 GPU:er landade felet på 4,7%, och en automatisk konfigurationssökning hittade en uppsättning inställningar för Mixtral 8x22B som gav 27% högre genomströmning än publicerad referens – på under 30 minuter. Det intressanta är inte bara precisionen utan att optimeringsarbetet som normalt kräver veckor av dyr GPU-tid nu kan göras på en enda nod.