AI sämre än kliniker på att fånga upp säkerhetsrisker vid psykiatrisk screening

arXiv cs.AI

Forskare testade ett GPT-baserat AI-system mot sex kliniker i psykiatriska intagningsintervjuer – AI:n plockade upp fler kliniskt relevanta uppgifter (88% mot 39%), men drog också fler slutsatser som inte stöddes av intervjun (57% mot 28%) och identifierade säkerhetsrisker som suicidrisk betydligt mer sällan (33% mot 67%). Det är en påminnelse om att råa träffprocent kan dölja allvarliga blinda fläckar, särskilt när det gäller just de frågor som faktiskt kan vara livsavgörande.

Djupdykning

Psykiatrisk triagering – det första samtalet där en patient beskriver varför de söker hjälp – är ett av de mest komplexa och känsliga momenten i vården, och nu testas AI-assistenter i just den rollen. Studien jämförde en GPT-baserad intervjuare mot sex kliniker i simulerade patientsamtal, och resultaten är avslöjande på ett sätt som inte direkt gynnar någon sida: AI:n plockade upp nästan dubbelt så många kliniskt relevanta detaljer från patientberättelsen, men "hittade på" kliniska slutsatser som inte hade stöd i samtalet i dubbelt så hög utsträckning – ett fenomen som inom AI kallas hallucination, alltså att modellen genererar trovärdigt klingande men grundlöst innehåll. Det verkligt allvarliga: när det gällde säkerhetsproblem, exempelvis suicidrisk, klarade klinikerna sig betydligt bättre på att faktiskt flagga och följa upp dem (67% mot AI:ns 33%). Vad de flesta missar i diskussionen om AI i vården är att "mer information" och "bättre bedömning" inte är samma sak – att systematiskt samla in fler symtomdata är ett annat uppdrag än att väga dem kliniskt och agera på det som verkligen brinner. En AI som är flitigare på att ställa frågor men sämre på att ringa in fara kan i värsta fall skapa en falsk trygghet hos det system som granskar journalanteckningen efteråt.