Självkörande AI-modeller förklarar inte varför de faktiskt gör det de gör

arXiv cs.AI

Forskare testade fyra AI-modeller för självkörande bilar som beskriver sitt eget resonemang i text innan de agerar – och fann att resonemanget knappt påverkar körbeteendet. När de ändrade modellernas egna textförklaringar förändrades körningen minimalt, medan borttagning av kamerainput fick stor effekt, vilket tyder på att förklaringarna är löst kopplade till det faktiska beslutsfattandet. Det är ett problem för trafiksäkerhet och regulatoriskt förtroende, eftersom hela poängen med dessa modeller är att de ska vara transparenta.