Forskare hittar snabb genväg för att kartlägga hur språkmodeller tänker

arXiv cs.AI

Att förstå vilka interna kopplingar i en språkmodell som faktiskt gör jobbet brukar kräva hundratals noggranna experiment – men en ny metod klarar det på ett enda genomlopp genom modellen. Tekniken extraherar ett slags karta över hur modellens uppmärksamhetslager (attention) dirigerar information, och på GPT-2 och Pythia-410M visade sig dessa kartor fånga genuina orsakssamband: att ta bort de identifierade kopplingarna skadade modellen betydligt mer än att ta bort ett slumpmässigt urval av samma storlek. Det är ingen komplett röntgenbild av modellens inre – mer en snabb skiss som kostar en bråkdel av traditionella metoder och faktiskt säger något sant.