Nytt ramverk granskar om AI:ns förklaringar faktiskt går att lita på
Forskare har utvecklat ConceptSMILE, ett verktyg som kontrollerar hur tillförlitliga konceptbaserade AI-förklaringar är – alltså när en modell försöker förklara sitt resonemang med mänskligt begripliga begrepp snarare än råsiffror. I tester på ögonbottenbilder uppnådde en av metoderna (MedSAM) ett surrogatmått på R²=0,85, vilket indikerar god överensstämmelse mellan förklaring och modellbeteende. Det intressanta är att olika förklaringsvägar visade sig vara starka på olika saker – ingen var bäst på allt, vilket antyder att 'förklarbar AI' är mer nyanserat än det ofta låter.
Djupdykning
Inom medicinsk AI är ett av de största problemen att modeller kan ha rätt av fel anledningar — de hittar mönster som korrelerar med sjukdom utan att det är kliniskt meningsfullt. Concept-based XAI (förklarbar AI) försöker lösa det genom att låta modellen kommunicera i mänskligt begripliga begrepp, som "blodkärl ser oregelbundna ut" istället för "pixel 347 har hög vikt". Men ConceptSMILE pekar på något som ofta ignoreras: bara för att en AI förklarar sig i begripliga termer betyder det inte att förklaringen faktiskt stämmer med vad modellen gör under huven. Ramverket stör bildindata systematiskt, mäter hur konceptsvaren förändras, och bygger sedan en enklare surrogatmodell (tänk: en slags tolkningsbar kopia) för att testa om förklaringarna håller — ungefär som att dubbelkolla en vittnesberättelse mot övervakningskameran. Det som studien visar på retinabilder är att ingen metod vinner på alla punkter: MedSAM är bättre på spatial precision, VLM-metoden håller sig stadigare under bildstörningar — vilket antyder att "tillförlitlighet" inom XAI inte är ett enda tal utan ett flerdimensionellt problem som beror på vad du faktiskt bryr dig om att lita på.