Neurala nätverk som kan säga 'jag vet inte' – och menar det

arXiv cs.AI

Forskare har byggt ett neuralt nätverk där varje lager hanterar osäkerhet enligt Dempster-Shafer-teorin (ett matematiskt ramverk för att kombinera bevis), och byter ut en standardformel mot en från 1987 som visar sig vara stabilare vid träning. Resultatet är ett nätverk som producerar ett mått på 'okunnighet' – hur mycket modellen genuint inte vet – vilket är hela 9 gånger större på de mest omtvistade bilderna i datasetet CIFAR-10H jämfört med alternativet, och korrelerar med hur mycket människor faktiskt är oense. Det intressanta är att modellen aldrig tränas på mänskliga meningsskiljaktigheter, ändå fångar den upp dem automatiskt.