Human-Centered Evaluation of XAI Methods

要約

進化を続ける人工知能の分野では、ディープラーニングのいわゆる「ブラックボックス」内の意思決定プロセスを解読することが重要な課題となっています。
近年、さまざまなタスクにわたる意思決定を説明することに特化した、多数の方法が登場しました。
特に画像分類などのタスクでは、これらのメソッドは通常、分類器の予測に最も影響を与える重要なピクセルを特定して強調します。
興味深いことに、このアプローチは人間の行動を反映しています。画像を分類する理論的根拠を説明するように求められると、私たちは多くの場合、最も顕著な特徴や側面を指摘します。
この類似点を利用して、私たちの研究はユーザー中心の研究に着手しました。
私たちは、(1) プロトタイプ パーツ ネットワーク、(2) オクルージョン、(3) レイヤーごとの関連性伝播という 3 つの主要な説明方法の解釈可能性を客観的に測定しようとしました。
興味深いことに、私たちの結果は、これらの方法によってスポットライトが当てられる領域は大きく異なる可能性があるものの、すべてが人間にほぼ同等の理解を提供することを強調しています。
これにより、ユーザーは画像を効率的に識別して分類できるようになり、AI の透明性を高める上でこれらの方法の価値が強化されます。

要約(オリジナル)

In the ever-evolving field of Artificial Intelligence, a critical challenge has been to decipher the decision-making processes within the so-called ‘black boxes’ in deep learning. Over recent years, a plethora of methods have emerged, dedicated to explaining decisions across diverse tasks. Particularly in tasks like image classification, these methods typically identify and emphasize the pivotal pixels that most influence a classifier’s prediction. Interestingly, this approach mirrors human behavior: when asked to explain our rationale for classifying an image, we often point to the most salient features or aspects. Capitalizing on this parallel, our research embarked on a user-centric study. We sought to objectively measure the interpretability of three leading explanation methods: (1) Prototypical Part Network, (2) Occlusion, and (3) Layer-wise Relevance Propagation. Intriguingly, our results highlight that while the regions spotlighted by these methods can vary widely, they all offer humans a nearly equivalent depth of understanding. This enables users to discern and categorize images efficiently, reinforcing the value of these methods in enhancing AI transparency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google