AI-agenter i vården missar kritiska eskaleringar i upp till 97% av fallen

arXiv cs.AI

En ny studie testade fem AI-modeller (1,7–9,7 miljarder parametrar) på 400 simulerade sjukvårdsscenarier och fann ett allvarligt problem: trots 97% träffsäkerhet i enkla fall missade modellerna 32–97% av de lägen där de borde ha eskalerat till en människa. Det är precis den typen av fel som kan vara farliga i kliniska miljöer. En regelbaserad styrmodul förbättrade resultaten markant – men kollapsade helt när formuleringar varierades, vilket avslöjar hur bräckligt det hela egentligen är.