Nytt verktyg bäddar in dokument direkt i en 284-miljardersmodells vikter

arXiv cs.AI

Forskare har byggt 'Internalizer', ett hypernätverk (ett nätverk som genererar inställningar till ett annat nätverk) som kan omvandla ett dokument till en LoRA-adapter – en lättviktig finjustering – för den 284 miljarder parametrar stora modellen DeepSeek v4 Flash, vilket är hundra gånger större än vad tidigare forskning klarat. Resultatet är att modellen kan 'komma ihåg' ett dokument i sina vikter utan att ha det i kontextfönstret, och träffsäkerheten stiger från 63,4% till 84,9% top-1. Det intressanta är att det fungerar med ett enda framåtpass och att kärnan av hypernätverket är modell-agnostisk – man tränar billigt på en liten modell och porterar sedan till den stora.