Microsoft hävdar att deras AI-verktyg är upp till fyra gånger bättre än läkare på att ställa diagnoser
Microsoft påstår att deras nya AI-verktyg kan diagnostisera medicinska tillstånd upp till fyra gånger mer korrekt än mänskliga läkare – ett resultat som publicerats i den vetenskapliga tidskriften Science. Testerna byggde på ett eget benchmark där AI:n ställdes mot läkare i scenarion hämtade från fallrapporter och akutmottagningsdata. Det är stora påståenden, och det återstår att se hur väl resultaten håller utanför kontrollerade testmiljöer.
Djupdykning
Microsoft påstår att deras AI kan diagnostisera sjukdomar upp till fyra gånger träffsäkrare än läkare – ett påstående som publicerades i Science, vilket ger det viss tyngd, men som också väcker frågor om hur benchmarken är konstruerad. Microsoft byggde nämligen testet själva, "S-benchmark", utifrån medicinska fallrapporter och akutdata, vilket är ungefär som att sätta upp egna mål och sedan mäta hur bra man är på att göra mål. Det här mönstret, att AI-bolag publicerar imponerande siffror baserade på egna testmiljöer, är något vi sett upprepade gånger och det gör det svårt att veta hur resultaten håller i verkliga kliniska miljöer med riktiga patienter och allt vad det innebär av brus och komplexitet. För dig som jobbar med sociala medier är det här en påminnelse om att AI-nyheter inom vård och life science tenderar att performa extremt bra organiskt, men att publiken är skeptisk och informerad. Postar du den här typen av innehåll utan att nyansera kring metodiken riskerar du att antingen bli utskrattad av en läkare i kommentarsfältet eller att bidra till hype-cykeln som i slutändan urholkar förtroendet för hela branschen. Det folk missar är att benchmarkjournalistik, alltså när ett bolag definierar sitt eget mått på framgång och sedan vinner på det, är en av de mest effektiva men minst diskuterade PR-strategierna i tech just nu.