Nya AI-modeller vet inte vad de inte vet – och det är ett problem

arXiv cs.AI

Forskare har undersökt om språkmodeller kan skilja på 'detta vet jag' och 'detta gissar jag' – en egenskap kallad epistemisk osäkerhet. Resultaten är nedslående: utan explicit träning på hur väl ett textmönster faktiskt finns belagt i träningsdata klarar modellerna inte att identifiera när de är på okänd mark (AUROC 0,49, ungefär som slumpen). Med explicit sådan träning förbättras resultaten markant, men nyttan i praktiska tillämpningar är fortfarande begränsad.