Forskare varnar för ChatGPT:s nya hälsotjänst
En studie i Nature Medicine visar att OpenAIs ChatGPT Health missade att rekommendera akut vård i mer än hälften av fallen där patienter behövde sjukhusvård. Forskarna testade systemet med 60 patientscenarier och fann att AI:n hade särskilt svårt med komplexa symptom och hantering av självmordsrisk.
Djupdykning
Det här är en klassisk "move fast and break things"-situation fast inom hälsovård, där konsekvenserna kan bli dödliga snarare än bara irriterande. Att AI missar akuta tillstånd i hälften av fallen där läkare skulle skickat patienter till sjukhus visar på grundläggande brister i hur AI:n bedömer allvarlighetsgrad och riskfaktorer. Problemet ligger troligen i att AI-modeller tränats på texter snarare än verkliga medicinska bedömningar, vilket gör dem dåliga på att förstå subtila varningssignaler som erfarna läkare lärt sig känna igen. Det här belyser en viktig principiell fråga: ska AI:n vara överdrivet försiktig och skicka för många till sjukhus (vilket kostar pengar men räddar liv), eller ska den vara "effektiv" och risker att missa allvarliga fall? OpenAI:s svar att studien inte speglar verklig användning låter som standardsvepskäl från teknikföretag när deras produkter inte lever upp till förväntningarna. Nyckelinsikt: AI inom hälsovård behöver byggas med "safety first" som grundprincip snarare än att optimera för effektivitet eller kostnadsbesparing.