Så hämtar språkmodeller information ur sitt eget minne – lager för lager

arXiv cs.AI

Forskare har undersökt hur stora språkmodeller (LLMs) internt hanterar frågor och svar genom att studera vad som händer i de olika lagren i Qwen, Llama och Gemma. Resultaten visar att modellerna först identifierar *vad* som frågas efter och sedan gradvis plockar fram svaret – men tidpunkten och mönstret skiljer sig tydligt mellan modellerna, exempelvis saknar Llama det 'routing-fönster' som syns hos de andra. Det är solidt mekanistiskt grundarbete som hjälper oss förstå varför samma fråga kan ge olika svar i olika modeller.