Hur många huvuden behöver en transformer för att sortera bitar?

arXiv cs.AI

Forskare har visat att en transformer (en typ av AI-modell) med ett enda 'huvud' (attention head) inte klarar av att avgöra om en bitsekvens är sorterad – men med två huvuden löser den uppgiften. Resultatet bidrar till den grundläggande förståelsen av vad olika transformer-arkitekturer faktiskt kan och inte kan beräkna.