Ny språkmodellarkitektur använder prototyper för ökad tolkbarhet
Forskare presenterar Prototype Transformer (ProtoT), en alternativ arkitektur till vanliga transformers som använder prototyper för att automatiskt fånga namngivbara koncept som "kvinna" under träning. Modellen skalar linjärt med sekvenslängd jämfört med kvadratisk skalning hos befintliga self-attention transformers, samtidigt som den presterar väl på textgenerering och GLUE-uppgifter.
Djupdykning
Forskare har utvecklat Prototype Transformer (ProtoT), en ny språkmodellarkitektur som syftar till att göra AI:s beslutsprocess transparent och förståelig från grunden, till skillnad från dagens "svarta låda"-modeller. Istället för den traditionella self-attention-mekanismen använder ProtoT så kallade prototyper - parametervektorer som automatiskt lär sig att representera begripliga koncept som "kvinna" eller andra namngivna entiteter under träningsprocessen. Detta är särskilt viktigt eftersom dagens avancerade språkmodeller ofta överträffar människor i vissa domäner men samtidigt skapar risker genom sin opaka reasoning, vilket kan leda till vilseledande svar och hallucineringar. Den nya arkitekturen erbjuder inte bara bättre tolkbarhet utan också linjär skalning med sekvenslängd jämfört med kvadratisk skalning för nuvarande transformers, vilket gör den mer effektiv för längre texter. Nyckelinsikt: ProtoT representerar ett genombrott för att skapa kraftfulla språkmodeller som är tolkbara från design, vilket kan öka förtroendet för AI-system i kritiska tillämpningar.