35-miljardersmodell körs från SSD på vanlig konsumenthårdvara – 20 tokens per sekund
Forskare har byggt Edge0, ett system som låter en 35-miljarders MoE-modell (en typ av AI-modell där bara delar av nätverket aktiveras per token) köras på en vanlig 24GB-dator via SSD-lagring, med 20 tokens per sekund och bara 3 GB aktivt minne. Tricket är en 'prerouter' som förutsäger vilka delar av modellen som behövs ett steg i förväg, så att data hinner laddas från SSD:n i tid. Ramverket, modellerna och adaptrar är öppen källkod – vilket gör seriös lokal AI-inferens betydligt mer tillgänglig utan dyrt GPU-minne.
Djupdykning
En 35-miljarders MoE-modell (Mixture of Experts – en arkitektur där bara en delmängd av nätverkets "experter" aktiveras per token, vilket sparar beräkning men inte minne) väger nästan 20 gigabyte i komprimerat format, och det är problemet: du kan inte köra den på vanlig konsumenthårdvara om du inte hittar ett sätt att lura systemet. Naiv offloading till SSD fungerar inte eftersom du måste veta vilka expertlager du ska läsa in *innan* du vet svaret från föregående lager – en klassisk hönan-och-ägget-situation som gör att läsningarna aldrig kan dölja sig bakom beräkningstiden. Edge0 löser det med en "prerouter", en liten sidokomponent som förutsäger ett steg i förväg vilket expertset nästa lager kommer att välja, så att SSD-läsningen kan starta tidigt nog att vara klar när det faktiskt behövs. Det de flesta missar här är att problemet inte primärt handlar om att modellerna är för stora – det handlar om att minnesbandbredden och I/O-latensen är fundamentalt felsynchroniserade med hur MoE-arkitekturer faktiskt fungerar. Edge0 är i grunden en lösning på ett schemaläggningsproblem förklädda till en inferensmotor, och LoRA-adaptern som tränas ovanpå kompenserar för den kvalitetsförlust som uppstår när man låter prediktionen styra routing istället för den faktiska beräkningen. 20 tokens per sekund på en konsumentklass-GPU med 24GB är tillräckligt snabbt för att faktiskt vara användbart i praktiken, och det öppnar dörren för att köra riktigt kapabla modeller lokalt – utan molnberoende, utan kostnad per token, utan att skicka data någonstans.