Språkmodeller rankar bättre när de poängsätter svar än när de förklarar dem

arXiv cs.AI

När språkmodeller används för att förutsäga kundbeteenden – som köpbeslut inom detaljhandel – visar det sig att det spelar stor roll hur man hämtar ut svaret. I 12 av 13 testfall rankade modellen utfall mer korrekt när den poängsatte svarsalternativ direkt (s.k. scored readout) jämfört med när den först genererade en förklaring, med skillnader på 1,5 till 14,5 procentenheter i noggrannhet (AUC). Det praktiska rådet från studien: låt modellen förklara sig gärna, men hämta själva rankingen från poängsättningshuvudet – inte från den skrivna motiveringen.