Läkare vill ha bromsarna på när AI skriver ut recept
Amerikansk lagstiftning (H.R. 238) och en pilotprojekt i Utah börjar ge AI rätt att självständigt skriva ut mediciner – men en enkät med 136 förskrivande läkare visar att de inte accepterar det utan tydliga säkerhetsventiler. Läkarna krävde att systemet ska kunna kommunicera sin egen osäkerhet (om den beror på kunskapsluckor hos modellen eller på genuint medicinskt svåra fall) och eskalera till en människa när trösklarna överskrids. Slutsatsen är lite ironisk: ett AI-system som uppfyller dessa krav skulle i praktiken fungera som ett välövervakat beslutsstöd snarare än en autonom agent.
Djupdykning
USA håller på att låta AI skriva ut recept på riktigt – inte bara föreslå, utan faktiskt ordinera mediciner autonomt. H.R. 238 på federal nivå och ett pilotprogram i Utah är redan igång, vilket gör det här till en fråga om nu, inte framtid. Forskarna bakom den här studien frågade 136 amerikanska läkare vad de faktiskt vill ha för att acceptera det, och svaret är ganska talande: läkarna sa i princip att de bara kan gå med på det om AI:n kan förklara *varför* den är osäker – är det för att fallet är genuint komplicerat (aleatoric uncertainty, alltså inbyggd klinisk otydlighet i världen), eller för att modellen helt enkelt saknar tillräcklig träningsdata för den här patienttypen (epistemic uncertainty, alltså modellens egen kunskapslucka)? Det är en distinktion som nuvarande reglering inte ens ställer krav på. Det de flesta missar i AI-debatten är att "autonomt system" och "säkert system" tenderar att dra i helt olika riktningar – och den här studien visar att om du bygger in alla säkerhetsmekanismer som kliniker faktiskt kräver, slutar du med något som inte längre är autonomt i någon meningsfull mening. Du får ett avancerat beslutsstödsverktyg med en läkare som fortfarande håller i ratten, men nu med ett mer komplicerat ansvarspussel när något går fel. Frågan om vem som bär skulden när en AI-ordinerad medicin skadar en patient – läkaren som granskade, företaget som byggde systemet, eller staten som godkände piloten – är fortfarande helt olöst i den lagstiftning som nu rullas ut.