Utmaningarna med att reglera AI inom psykisk hälsa
Stanford HAI lyfter fram de komplexa frågorna kring hur AI-verktyg för psykisk hälsa ska regleras – ett område där tekniken redan används brett men lagstiftningen halkar efter. Det handlar bland annat om vem som bär ansvaret när en app ger råd som går fel, och hur man balanserar tillgänglighet mot patientsäkerhet.
Djupdykning
Att reglera AI inom mental hälsa är ett av de svåraste styrningsproblemen vi har just nu, och det beror på en grundläggande spänning: de som behöver hjälpen mest är ofta de som är minst rustade att ifrågasätta om de faktiskt får bra hjälp. Till skillnad från ett AI-system som rekommenderar filmer eller sorterar e-post, kan en felaktig respons från en mental hälso-AI ha direkt påverkan på liv – och ändå saknar vi både kliniska protokoll och juridiskt ansvar anpassat för det här landskapet. De befintliga regelverken, som EU:s AI Act eller FDA:s medicintekniska direktiv i USA, byggdes för en värld där mjukvara antingen är ett medicinskt hjälpmedel med tydliga funktioner eller ett konsumentverktyg utan större risker – men terapeutiska chatbottar faller besvärligt mitt emellan. Det de flesta missar i debatten är att problemet inte primärt handlar om att AI ger fel råd, utan om att den kan ge *trovärdiga* fel råd på ett sätt som en osäker människa inte ens märker är fel. En terapeut som säger något dumt kan mötas av tvivel, men ett system som låter kliniskt kompetent och finns tillgängligt klockan tre på natten under en kris möter ett helt annat mottagande.