Forskning avslöjar varför AI tappar fokus när texten innehåller brus

arXiv cs.AI

Språkmodeller försämras märkbart i noggrannhet när prompten innehåller irrelevant text – ett problem som är vanligt i RAG-system (där modellen hämtar information från externa källor) och långa kontexter. Forskare har identifierat en specifik mekanism de kallar 'intrusion pathway', där en liten uppsättning uppmärksamhetshuvuden (attention heads) sprider distraktionsinnehåll till modellens slutsvar. Det intressanta: att stänga av bara cirka 1% av modellens uppmärksamhetshuvuden återhämtade 57% av den prestandaförlust som orsakats av brus.