Språkmodeller verkar förstå vad som är möjligt – och vad som är rent nonsens

arXiv cs.AI

Forskare har hittat linjära representationer i språkmodeller (så kallade 'modal difference vectors') som visar att modellerna faktiskt är bättre på att skilja mellan möjliga och omöjliga påståenden än tidigare studier antydde. Intressant nog dyker dessa representationer upp i en konsekvent ordning ju mer kompetent en modell blir – oavsett om det handlar om träningssteg, lager eller antal parametrar. Det som gör studien extra spännande är att samma vektorer även verkar spegla hur människor bedömer händelsers rimlighet, vilket ger en ny ingång till att förstå mänskligt tänkande.