Assessing Fidelity in XAI post-hoc techniques: A Comparative Study with Ground Truth Explanations Datasets

要約

eXplainable人工知能（XAI）手法とその基礎となるモデルとの忠実度を評価することは、主に説明のためのグランドトゥルースが存在しないため、困難な作業である。しかしながら、忠実度を評価することは、正しいXAI手法を保証するために必要なステップである。本研究では、説明のための信頼できるグランドトゥルースを持つ3つの新しい画像データセットを導入することで、現在の最先端のXAI手法の公正かつ客観的な比較を行う。この比較の主な目的は、忠実度の低い手法を特定し、更なる研究から排除することであり、それにより、より信頼性が高く効果的なXAI手法の開発を促進する。その結果、出力情報の入力へのバックプロパゲーションに基づくXAI手法は、感度分析やクラス活性化マップ（CAM）に依存する手法と比較して、より高い精度と信頼性をもたらすことが実証された。しかし、バックプロパゲーション法は、よりノイズの多い顕著性マップを生成する傾向がある。これらの知見は、XAI手法の進歩にとって重要な意味を持ち、誤った説明を排除し、より頑健で信頼性の高いXAIの開発を促進する。

要約(オリジナル)

The evaluation of the fidelity of eXplainable Artificial Intelligence (XAI) methods to their underlying models is a challenging task, primarily due to the absence of a ground truth for explanations. However, assessing fidelity is a necessary step for ensuring a correct XAI methodology. In this study, we conduct a fair and objective comparison of the current state-of-the-art XAI methods by introducing three novel image datasets with reliable ground truth for explanations. The primary objective of this comparison is to identify methods with low fidelity and eliminate them from further research, thereby promoting the development of more trustworthy and effective XAI techniques. Our results demonstrate that XAI methods based on the backpropagation of output information to input yield higher accuracy and reliability compared to methods relying on sensitivity analysis or Class Activation Maps (CAM). However, the backpropagation method tends to generate more noisy saliency maps. These findings have significant implications for the advancement of XAI methods, enabling the elimination of erroneous explanations and fostering the development of more robust and reliable XAI.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL