Språkmodellers inbäddningar avslöjar tid och plats – utan tillgång till modellens inre

arXiv cs.AI

Forskare har visat att de numeriska representationer (embeddings) som språkmodeller producerar faktiskt innehåller strukturerad information om både tid och geografi – och det går att utvinna den utan att ha tillgång till modellens kod eller träningsvikter. Metoden kräver bara ett litet antal exempeltexter för att definiera en riktning i representationsrymden, varefter texter kan rangordnas kronologiskt eller geografiskt. Praktiskt innebär det att vem som helst med API-åtkomst till en inbäddningsmodell kan analysera om – och hur – den förstår tid och rum.