Nytt ramverk för att lära sig av AI-misstag i vården

Inom sjukvården har M&M-konferenser – där läkare granskar fall där något gick fel – existerat i över ett sekel som ett av medicinens viktigaste verktyg för att lära av misstag utan att peka finger. Nu argumenterar forskare för att vi behöver samma struktur specifikt för AI-relaterade fel, eftersom nuvarande säkerhetssystem är byggda för antingen modellen eller patienten, inte för det komplicerade mellanlandet där de möts. Poängen är att när en AI-driven beslutsstödssystem bidrar till ett medicinskt misstag, kan varken traditionell incidentrapportering eller teknisk modellövervakning rekonstruera exakt hur felet uppstod i skärningspunkten mellan algoritm, kliniker och arbetsflöde. Ramverket de föreslår – Trigger, Mechanism, Clinical Pathway, Corrective Action – är i grunden en taxonomi för att dissekera vad som faktiskt hände, inte bara om modellen presterade sämre i aggregat. Det de flesta missar är att problemet sällan är att AI:n hade fel rakt av, utan att felet uppstår i systemet runt om: läkaren som övertolkade en rekommendation, institutionen som inte hade tydliga protokoll för när AI-råd ska ifrågasättas, eller ett gränssnitt som presenterade osäkerhet på ett missvisande sätt. Utan ett strukturerat sätt att logga och analysera dessa individuella fall förblir sjukhus blinda för mönster som aldrig dyker upp i aggregerad statistik – och när AI-systemen sitter djupare inbäddade i vården kommer det fönstret för att bygga den kunskapen att stängas.