Ny metod löser AI-modellers känsliga svar för listordning

arXiv cs.AI

AI-modeller som besvarar flervalsfrågor ger olika svar beroende på i vilken ordning svarsalternativen presenteras – ett grundläggande tillförlitlighetsproblem. Forskarna bakom 'Runoff' löser detta utan träning: metoden poängsätter varje alternativ separat och jämför sedan de bästa kandidaterna, vilket i praktiken eliminerar ordningsberoendet (mot 9,3% felrate för den befintliga standardmetoden). Med 20 alternativ är den dessutom tre till fyra gånger snabbare – vilket är den intressanta poängen här: bättre och billigare på en gång.