Studie: AI-debatter låter imponerande men ändrar inte faktiska svar

arXiv cs.AI

Forskare testade om flera AI-modeller verkligen förbättrar svarkvaliteten när de 'debatterar' med varandra – och svaret är i princip nej. Över 750 debatter visade att tonen styr vad modellerna säger (rapporterad enighet skilde sig med 50,4 procentenheter mellan vänlig och fientlig ton), men när man kontrollerade noga fann man noll kvalitetsförbättring i slutsvaren – 299 av 299 debatter slutade oavgjort. Det intressanta är att en ojust jury utan bias-kontroll hade utnämnt debatt-formatet till vinnare i 66% av fallen, enbart på grund av i vilken ordning svaren lästes.