Forskare undersöker när vi kan lita på AI-system
KTH-forskaren Jenni Reuben studerar ett grundläggande problem med AI: ett system kan klara alla tester och ändå misslyckas när det möter situationer det aldrig tränats på. Det är egentligen frågan om hur vi vet när ett AI-system är tillräckligt pålitligt för att användas på riktigt.
Djupdykning
Frågan om när vi kan lita på AI är egentligen en fråga om vad vi menar med "fungerar" — och det är precis där de flesta tänker fel. Ett AI-system kan klara alla tester med glans och ändå kollapsa totalt när det möter ett scenario som ingen förutsåg under utvecklingen, ett problem som inom ML kallas "distribution shift" (ungefär: verkligheten ser annorlunda ut än träningsdatan). Jenni Reubens forskning vid WASP handlar om att ta fram metoder för att faktiskt bedöma tillförlitlighet, inte bara i kontrollerade miljöer utan i den röriga verkligheten. Det som de flesta missar är att vi redan litar på AI i känsliga sammanhang — medicinsk bildanalys, kreditbedömning, ansiktsigenkänning — ofta utan att ha bra svar på hur systemet beter sig i edge cases. Ju mer AI integreras i infrastruktur där felen inte syns förrän de gör skada, desto mer kritisk blir just den här typen av grundforskning.