Nytt ramverk för att granska AI-system löpande – utan full insyn
Forskare har utvecklat en metod för att löpande granska om AI-system behandlar olika grupper rättvist, även när granskaren bara kan ställa frågor till modellen utan att se dess inre. Metoden avgör automatiskt när tillräckligt många bevis samlats in för att dra slutsats om regelefterlevnad eller brott. Intressant nog visar resultaten att mer detaljerade svar från modellen hjälper mycket i vissa fall – men knappt alls när modellens beteende ligger nära gränsen för vad som är acceptabelt.
Djupdykning
AI-system granskas allt mer av externa revisorer – men de flesta av dessa revisorer får inte faktiskt se inuti modellerna de ska bedöma. De får ställa frågor och se svaren, ungefär som att försöka förstå hur en kock jobbar genom att bara smaka på maten. Det här pappret tar tag i ett konkret problem med det: traditionella statistiska tester för rättvisa (alltså om en modell behandlar olika grupper likvärdigt) förutsätter att du har ett färdigt dataset att jobba med, men en revisor som knackar på dörren till ett produktionssystem måste samla sina bevis bit för bit, fråga för fråga. Lösningen är ett "sekventiellt hypotestestningsramverk" – vilket i praktiken betyder att du kan fatta ett evidensbaserat stopp-beslut löpande: "okej, vi har nog bevis för att modellen diskriminerar" eller "den verkar okej, vi kan sluta nu" – istället för att bestämma i förväg hur många tester du ska köra. Det som de flesta missar i AI-rättvisediskussionen är att det inte räcker med att ha rätt mätvärden, du måste också ha statistiska verktyg som faktiskt fungerar under de tillgångsrestriktioner som verkliga avtal och affärsintressen skapar, och den luckan är fortfarande gapande stor i regulatorisk praxis.