Fel i AI-avlärning kan bero på statistik som aldrig tränades bort

arXiv cs.AI

Forskare granskade 263 publicerade modell-checkpoints och fann att så kallade batch-normaliseringsstatistiker (intern kalibrieringsdata som modellen bär med sig) kan förändra utvärderingsresultat utan att den borttagna datan faktiskt finns kvar i modellen. Av 221 checkpoints ändrade 47 stycken sin bedömning när statistiken räknades om – och i 12 fall vändes hela slutsatsen om huruvida avlärningen lyckats. Det praktiska rådet är enkelt: när man publicerar resultat för avlärning (machine unlearning – att lära en AI-modell att 'glömma' specifik data) bör man alltid ange exakt hur dessa statistiker beräknats.