Ny metod snabbar upp långa AI-konversationer med nästan 6 gånger
Forskare har tagit fram RBS-Attention, en teknik som gör det snabbare för stora språkmodeller (LLM) att hantera mycket långa textinmatningar – utan att behöva träna om modellen. På H100-grafikkort uppnådde metoden 5,97 gånger snabbare tid till första svar vid 128 000 tokens långa texter, med marginell kvalitetsförlust (88,65 vs 89,52 i noggrannhet). Det intressanta är att de löser ett ganska elegant problem: när man förkortar uppmärksamheten kan viktiga tokens gömma sig bland irrelevanta, vilket de kallar 'mean dilution' – och det är just det deras dubbla urvalsmetod motverkar.
Djupdykning
När en AI-modell får en lång prompt måste den först processa hela texten innan den kan börja svara – det kallas prefill-fasen, och det är här flaskhalsen sitter när du frågar en modell att sammanfatta ett 100-sidigt dokument. Standardlösningen har varit att använda "sparse attention", alltså att bara titta på de mest relevanta textblocken istället för allt, men det finns ett lurigt problem: om du sammanfattar ett textblock till dess genomsnittsvärde för att avgöra om det är relevant, kan en enda extremt viktig token gömma sig bland massa ointressant text och missas helt – det är vad forskarna kallar "mean dilution". RBS-Attention löser detta med två parallella system, ett som letar efter block med hög genomsnittsrelevans och ett räddningssystem som specifikt jagar block där genomsnittet troligtvis ljuger, baserat på hur spridd informationen i blocket är. Resultaten är imponerande på pappret – nästan 6x snabbare tid till första token på 128 000-token-kontext – men det verkligt intressanta är att modellens noggrannhet bara tappar 0,87 procentenheter jämfört med full beräkning. Det de flesta missar när de ser siffror som "20x speedup" är att det är mätt på den isolerade attention-operationen, inte hela systemet – end-to-end är det 6x, vilket fortfarande är rejält men långt ifrån de flashiga rubriksiffrorna. Den bredare poängen är att vi börjar se en mognadsanpassning i AI-infrastruktur: istället för att träna ännu större modeller handlar kampen nu om att få befintliga modeller att faktiskt fungera i praktiken vid långa kontexter, utan att servrar behöver vänta sekunder innan de ens börjar svara.