SmartRAG: AI-assistent som körs helt på din telefon – utan molnet

arXiv cs.AI

Forskare har byggt ett system kallat SmartRAG som låter en liten språkmodell (1,7 miljarder parametrar) köras helt lokalt på en vanlig smartphone – utan internetuppkoppling eller molntjänster. Tricket är att separera arbetet: en kunskapsgraf (en strukturerad databas över fakta och samband) sköter det mesta av informationshämtningen, medan LLM:en bara kallas in när det verkligen behövs. Resultaten på fyra frågesvar-tester är jämförbara med modeller upp till 18 gånger större, vilket är anmärkningsvärt givet hårdvarubegränsningarna.