Ny metod minskar minneskrav för stora språkmodeller med nästan hälften

arXiv cs.AI

Forskare har utvecklat RACE, en metod som komprimerar den så kallade KV-cachen (det minne som AI-modeller använder för att hålla koll på tidigare text i ett samtal) utan att behöva bygga om data under körning. Vid 50% komprimering och långa texter på 256 000 tokens minskar metoden GPU-minnesanvändningen med 28%, sänker svarstiden med 43% och ökar genomströmningen 1,79 gånger jämfört med okomprimerade modeller. Det intressanta är att förbättringarna kommer utan att man behöver träna om modellen eller skriva specialiserad kod – man justerar helt enkelt befintliga modellvikter.