Transformers lagrar information om samtalspartnern långt innan den används

arXiv cs.AI

En ny studie visar att transformer-modeller (den AI-arkitektur som driver moderna språkmodeller) kodar information om hur expert en samtalspartner är redan i de tidiga lagren av nätverket – men använder den informationen först mycket senare. Skillnaden i påverkan mellan tidiga och sena lager är mer än tio gånger så stor, vilket är praktiskt viktigt: om man vill styra hur en AI anpassar sitt språk efter användaren måste man ingripa i rätt lager, inte bara när som helst.