AI-modeller missar vetenskapliga motsägelser när de presenteras i löptext

arXiv cs.AI

Forskare testade hur bra GPT-5.6 Sol och Claude Opus 5 är på att avgöra om två vetenskapliga fynd verkligen motsäger varandra – och resultaten är talande. När logikproblemen presenterades direkt klarade modellerna sig bra (90–96% rätt), men i vanlig vetenskaplig prosa sjönk Claude Opus 5 till 27% korrekt, tydligen för att modellen föredrar biologiskt 'förväntade' svar framför vad datan faktiskt stöder. Det här är intressant för alla som hoppas att AI ska kunna granska forskning: modellerna verkar ha inbyggda bias (förutfattade antaganden) som gör dem opålitliga just när det gäller som mest.