Debatt hjälper människor fatta bättre AI-beslut – men inte svagare AI-modeller

arXiv cs.AI

En ny studie undersöker 'AI Safety via Debate' – där två AI-system argumenterar mot varandra medan en domare avgör vem som har rätt – och finner att metoden faktiskt förbättrar människors förmåga att nå korrekta slutsatser, men inte svagare språkmodellers. Särskilt oroväckande är att i gruppdiskussioner utan tillräcklig mångfald bland domarna verkar felaktiga argument vara mer övertygande än korrekta. Det sätter fingret på en central svaghet: att bygga helautomatiserade tränings- och kontrollsystem för kraftfull AI utan mänsklig inblandning kan vara riskabelt.