Forskare varnar för att AI underminerar vetenskaplig noggrannhet
Nya studier visar att stora språkmodeller som Claude systematiskt förvränger forskningsdata genom att ändra kvantiteter, termfrekvenser och vetenskaplig röst på sätt som är omöjliga att upptäcka utan icke-AI-verktyg. Forskarna föreslår PEEL-ramverket som kombinerar deterministiska analysverktyg med AI-tolkning för att bevara epistemisk ansvarighet (vetenskaplig trovärdighet) i AI-stödd forskning.
Djupdykning
Forskare är så charmade av AI:s förmåga att snabbt sammanfatta och analysera texter att de glömmer att granska vad som faktiskt händer i processen. Den här studien visar hur språkmodeller systematiskt förvränger källmaterial på sätt som är omöjliga att upptäcka utan separata mätverktyg - de ändrar kvantiteter, förskjuter tonvikt mellan termer och skapar falska auktoritetsröster som låter övertygande men saknar grund i originaltexten. PEEL-ramverket kombinerar deterministiska verktyg (som räknar ord och mäter frekvenser objektivt) med AI-tolkningar för att skapa en sorts epistemisk bromskloss. Det bygger på semiotik - läran om tecken och betydelse - och abduktiv resning, där man letar efter den mest troliga förklaringen till ett fenomen. Det intressanta är inte att AI hallucinerar, utan att den gör det så smidigt att forskare inte märker när deras slutsatser bygger på AI:ns kreativa omtolkningar snarare än faktiska data. Vi står inför en paradox där AI gör forskning både kraftfullare och mindre pålitlig samtidigt, och de flesta institutioner har inga rutiner för att hantera denna dubbla verklighet.