En debattrunda räcker för att tysta oenighet – utan att förbättra träffsäkerheten

arXiv cs.AI

Forskare testade en panel med 7 AI-domare på 600 koduppgifter och fann att enighet ökade från 39,5% till 95,2% redan efter första debattrundan – utan att korrektheten förbättrades nämnvärt. Problemet är att oenighet är en viktig signal för att fånga fel: efter tre rundor var varje felaktigt beslut enhälligt, vilket raderade den oenighet som tidigare flaggat två tredjedelar av panelens misstag. Slutsatsen är praktisk: verifiera AI-beslut innan domare exponeras för varandras åsikter, annars ger skenbar konsensus en falsk trygghet.