SkillWeave låter AI-modeller specialisera sig utan att äta mer minne

arXiv cs.AI

Forskare har utvecklat SkillWeave, en teknik som låter stora språkmodeller specialisera sig inom olika områden genom att dela upp kunskaper i små moduler kallade 'skillpacks'. En 9 miljarder parameter-modell med SkillWeave presterar bättre än en 32 miljarder parameter-modell och är samtidigt 4 gånger snabbare. Det löser ett viktigt problem: hur AI-modeller kan bli bättre på specifika uppgifter utan att kräva enormt mycket mer datorminne.