Forskare visar att transformer-modellers attention-huvuden konkurrerar som spelare i ett spel
Forskare har formaliserat att attention-huvuden i transformer-modeller fungerar som oberoende agenter som konkurrerar och koordinerar med varandra, vilket skapar ineffektivitet. De presenterar GAME-LoRA, en ny träningsmetod som minskar hallucinationer med upp till 18% genom att behandla AI-träning som ett multiplayer-spel.
Djupdykning
Forskare har upptäckt att de olika "huvuden" i transformer-modeller fungerar som konkurrerande spelare i ett spel snarare än som en enhetlig optimerare, vilket kan förklara varför AI-modeller ibland hallucinerar eller producerar felaktig information. Studien visar att när dessa attention-huvuden inte koordinerar effektivt uppstår både redundans och korrelerade fel, vilket leder till sämre prestanda enligt spelteorins "Price of Anarchy"-princip. Genom att behandla träningen som ett flerspelarspel och använda tekniker som minskar skadlig konkurrens mellan huvuden kunde forskarna minska hallucinationer med upp till 18 procent utan att försämra modellens kunskaper. Detta genombrott kan förändra hur vi tränar stora språkmodeller genom att explicit hantera den interna dynamiken mellan olika komponenter istället för att behandla dem som en svart låda. Nyckelinsikt: Att förstå AI-modeller som interna flerspelarspel öppnar för mer effektiv träning och färre hallucinationer.