När AI-modeller håller med varandra behöver de inte ha rätt

arXiv cs.AI

En ny studie med 265 000 datapunkter visar att när AI-modeller är överens med sig själva eller med varandra är det ett svagt tecken på att de faktiskt har rätt – sambandet (rho 0,20–0,59) är positivt men opålitligt. Mest oroväckande: de mest självsäkra toppmodellerna var eniga i 77% av fallen på testet GPQA Diamond, men hade fel i nästan hälften av dem. Det innebär att 'låt flera modeller rösta fram svaret'-metoden som används i många företagssystem kan ge falsk trygghet snarare än faktisk kvalitetssäkring.