Att kunna läsa av ett begrepp ur en AI-modell betyder inte att modellen faktiskt använder det

arXiv cs.AI

Forskare visar att så kallade 'probes' – enkla klassificerare som tränas för att detektera begrepp som sanningsenighet i en språkmodells interna aktiveringar – inte nödvändigtvis avslöjar vad som faktiskt styr modellens beteende. I testet med Googles Gemma2-9B överlappade probens geometriska ranking och modellens faktiska kausala features bara till cirka 12%. Det praktiska budskapet: om du vill förstå varför en AI-modell beter sig som den gör räcker det inte att kunna läsa av ett begrepp – du måste också testa vad som händer när du faktiskt manipulerar de interna representationerna.