Ekonomisk metod från 1970-talet kan hjälpa oss utvärdera språkmodeller

arXiv cs.AI

Forskare föreslår att man lånar ett utvärderingsramverk från stated-preference-ekonomi (en metod för att mäta hur mycket folk värderar saker utan marknadspriser) för att bedöma språkmodeller i frågor som saknar rätt svar. När sex olika AI-modeller fick svara på en enkät om betalningsvilja för vattenkvalitet klarade de två nyaste alla teoretiska validitetstester, medan två äldre modeller misslyckades redan på det enklaste testet vid en hushållsinkomst på 75 000 dollar. Det intressanta är vad det avslöjar: att klara testerna bevisar inte att modellen har rätt, bara att den svarar konsekvent – en subtle men viktig skillnad.