OmniTide kör stora AI-modeller direkt på din enhet – utan att minnet sinar
Forskare har byggt OmniTide, ett system som låter multimodala språkmodeller (LLM:er som hanterar text, bild och ljud samtidigt) köras direkt på konsumenthårdvara utan att skicka data till molnet. Problemet de löser är att KV-cachen – den minnesstruktur som håller koll på tidigare kontext – växer okontrollerat vid långa sessioner, men OmniTide trimmar bort oviktig data intelligent och minskar latensen med upp till 2,4 gånger. På StreamingBench landade systemet 18 procentenheter högre träffsäkerhet än tidigare metoder, vilket är anmärkningsvärt för något som ska fungera på en vanlig laptop eller telefon.
Djupdykning
Stora AI-modeller är vanligtvis molnbaserade, vilket innebär att varje gång din telefon eller laptop pratar med en sådan skickas data till en server någon annanstans – med tillhörande kostnad och integritetsproblem. "On-device inference" löser det genom att köra modellen lokalt, men då stöter man snabbt på ett annat problem: KV-cachen (den del av minnet som håller reda på vad modellen "kommer ihåg" från konversationen) växer obegränsat och kräver mer och mer minne ju längre sessionen pågår. OmniTide angriper detta från två håll samtidigt – algoritmerna väljer smartare vad som faktiskt behöver sparas baserat på om det är text, bild eller ljud, medan minneshanteringen packar ihop det kvarvarande på ett sätt som minskar fragmentering (tänk: defragmentera en hårddisk, fast i realtid under en konversation). Det de flesta missar i rapporteringen kring sådana här resultat är att 12x snabbare kernel-exekvering låter spektakulärt, men det relevanta för en faktisk användare är "stream-loop latency" – alltså hur snabbt systemet håller jämna steg med ett realtidsflöde av tal, bild och text kombinerat, och den förbättringen på 2,4x är den som avgör om upplevelsen faktiskt känns flytande. Om den här typen av optimeringar mognar tillräckligt snabbt förskjuts battleground för AI-konkurrens från molninfrastruktur till vem som kontrollerar chipsen i konsumentenheterna – och det är en kamp Apple, Qualcomm och Samsung sitter betydligt bättre rustade för än OpenAI.