Hälso-AI:er anpassar svar efter användare – men forskare kan inte testa hur
Forskare som försökte testa om hälso-AI:er som ChatGPT ger olika medicinska råd till olika användare stötte på fem stora hinder: sajterna avslöjar inte vilka signaler som påverkar svaren, modellerna ändras utan versionsnamn, och stora tester blockeras av användarvillkor. Det betyder att ingen just nu kan kontrollera om dessa AI:er behandlar patienter rättvist – trots att miljoner använder dem för hälsoråd.
Djupdykning
Forskare från Stanford försökte göra något som låter enkelt – testa om hälso-AI:er som ChatGPT ger olika svar till olika användare. Men de stötte på en mur av praktiska hinder som avslöjar hur otillgängliga dessa system egentligen är för oberoende granskning. De kunde inte kontrollera vilka signaler som påverkar svaren, inte återställa systemen till ett neutralt läge, inte köra storskaliga tester på grund av användarvillkor, och inte ens veta vilken version de testade eftersom modellerna uppdateras i smyg. Det här handlar inte bara om transparens – det handlar om att vi har byggt ett parallellt hälsovårdssystem som miljarder människor använder, men som är omöjligt att utvärdera på samma sätt som vi granskar läkemedel eller medicinska apparater. När AI:er börjar anpassa sina hälsoråd baserat på din sökhistorik, plats eller tidigare uttalanden, blir personalisering plötsligt en säkerhetsfråga. Ironin är att medan läkemedelsindustrin måste genomgå decennier av tester innan en medicin når marknaden, kan tech-företag lansera AI-system som potentiellt påverkar miljontals människors hälsobeslut utan någon liknande oversight.