Ny metod krymper AI-modell från 8,9 GB till 2,1 GB utan att tappa prestanda
Forskare har tagit fram UniCompress, ett ramverk som komprimerar en multimodal AI-modell (en som förstår både bild och text) med 76% – från 8,9 GB ner till 2,1 GB – för att göra den körbar på enheter med begränsat minne, som robotar och mobiler. Tricket är att använda en 'lärarmodell' som vägleder komprimeringsprocessen så att prestandan bevaras, och resultatet landar bara 0,9 procentenheter under originalmodellen på fyra olika uppgifter. Det intressanta är att man slipper hålla flera separata specialistmodeller i minnet – en enda komprimerad modell klarar allting.
Djupdykning
Tanken bakom UniCompress är enkel men elegant: istället för att ha en separat AI-adapter per uppgift på en robot eller edge-enhet (tänk en hemrobot som behöver förstå gester, känna igen farliga situationer, chatta och navigera i appar), slår man ihop allt till en enda komprimerad modell. Tekniken bygger på något som kallas kvantisering – man byter ut de höjprecisa talen som modellen lagrar sina "kunskaper" i (BF16, 16 bitar per värde) mot grövre approximationer (INT2, bara 2 bitar), vilket krymper modellen från 8,9 GB till 2,1 GB. Det smarta är att de använder en "lärarmodell" i full upplösning som vägleder komprimeringsprocessen och hjälper studentmodellen att återhämta sig från informationsförlusten. Resultatet är att de tappar knappt 0,9 procentenheter i prestandapoäng jämfört med den stora okomprimerade modellen – för en 76-procentig storleksminskning är det anmärkningsvärt litet. Det de flesta missar här är att flaskhalsen för AI på edge-enheter sällan är råa beräkningar utan RAM och lagring – en Raspberry Pi eller en ARM-baserad robotkontroller kan fysiskt inte ladda in en 9 GB modell. Att komma under 2,5 GB med bibehållen multi-task-förmåga är skillnaden mellan att kunna deployas på faktisk hårdvara eller att bara existera i ett labbrepo. Nästa kapplöpning i edge-AI handlar inte om vem som har den smartaste modellen – det handlar om vem som kan få den att plats i fickan.