Stanford avslöjar stora brister i säkerhetstestning av AI för psykisk hälsa
En ny studie från Stanford HAI visar att de metoder som används för att testa AI-chatbotars säkerhet inom psykisk hälsa har allvarliga brister – testerna fångar helt enkelt inte upp hur systemen beter sig i verkliga samtal med sårbara användare. Det är ett problem eftersom allt fler vänder sig till AI-verktyg för stöd vid exempelvis ångest eller depression, och om säkerhetstesterna är missvisande vet vi egentligen inte vad vi släpper ut.
Djupdykning
Stanfords nya studie slår hål på en av AI-industrins mest grundläggande antaganden: att de säkerhetstester vi använder för att godkänna mentalhälso-AI faktiskt testar rätt saker. Problemet är att de flesta tester sker i kontrollerade labbmiljöer med förutsägbara frågor, medan verkliga användare i kris skriver fragmenterat, irrationellt och på sätt som ingen testare förutspådde. Det är ungefär som att köra kraschtester på bilar som bara kör rakt fram i 50 km/h och sedan vara förvånad när de fungerar dåligt i verkliga olyckor. Det som gör detta extra känsligt är att mentalhälsa är ett av de områden där AI faktiskt används mest just nu – Woebot, Wysa och liknande appar har miljontals användare som söker stöd mitt i natten när inga mänskliga terapeuter är tillgängliga. Vad de flesta missar i debatten om AI och mentalhälsa är att problemet inte primärt handlar om att AI ger fel råd – det handlar om att vi inte ens har bra metoder för att mäta när det gör det.