Noggrannhet räcker inte – AI-certifiering måste granska hur modellen tänker
Forskare har bevisat att två AI-modeller kan vara identiska i alla mätbara prestationsmått – träffsäkerhet, kalibrering, täckning – och ändå skilja sig drastiskt i hur de faktiskt fattar beslut. Det innebär att dagens standardmetoder för att certifiera AI-system (t.ex. inom sjukvård eller säkerhetsbedömningar) kan ge godkänt åt en komprometterad modell utan att upptäcka problemet. Lösningen de föreslår kallas 'competence envelope' och kräver att man även granskar modellens beslutsmekanismer, inte bara dess utdata.
Djupdykning
Vi litar på AI-system för att de presterar bra på tester — men en ny studie bevisar matematiskt att ett AI som klarar alla standardtester kan vara fundamentalt trasigt på ett sätt som testerna aldrig kan avslöja. Forskarna etablerar ett så kallat separationsteorem: två modeller kan vara identiska i varje tänkbar prestationsmätning (träffsäkerhet, kalibrering, statistisk täckning) men ändå fatta beslut av helt olika skäl — varav den ena av fel skäl, på ett sätt som kollapsar under press eller i nya situationer. Kalibrering betyder här att modellen inte bara har rätt, utan att dess självförtroende stämmer med hur ofta den faktiskt har rätt — men det hjälper alltså inte om den råkar ha rätt av fel anledning. Det verkliga problemet är att hela AI-certifieringsindustrin — regulatorisk, kommersiell, akademisk — bygger på prediktionsbaserade mått, och den här studien säger att det är strukturellt otillräckligt, inte bara lite bristfälligt. Det forskarna föreslår som lösning är ett ramverk de kallar "competence envelope", som kombinerar prediktionscertifiering med förklaringscertifiering — alltså att man också måste granska *varför* modellen fattar sina beslut, inte bara *om* den fattar rätt beslut. Det liknar lite skillnaden mellan att godkänna en kirurg baserat på hur ofta operationerna lyckas, kontra att också verifiera att hon faktiskt förstår anatomi och inte bara är bra på att gissa.