Why is plausibility surprisingly problematic as an XAI criterion?

要約

説明可能な人工知能（XAI）は、AIが社会とハイステークスのドメインでますます影響を与えるため、AIの予測を理解しやすく、透明性があり、責任を負わせる問題に動機付けられています。
XAIの評価と最適化基準は、Xaiアルゴリズムのゲートキーパーであり、期待される目標を達成し、厳密な検査に耐える必要があります。
Xaiの科学的厳密さを改善するために、一般的なXai基準である妥当性の批判的な調査を実施します。
妥当性は、AIの説明が人間にどれだけ説得されるかを評価し、通常、特徴のローカリゼーションまたは特徴の相関のメトリックによって定量化されます。
私たちの調査は、説明可能性を測定するためにもっともらしいことが無効であることを示しており、人間の説明はXaiの基本真実ではありません。なぜなら、そうすることは説明を支える必要な仮定を無視するからです。
私たちの調査は、ユーザーを操作する誤解を招く説明の増加、AIシステムへのユーザーの信頼の悪化、人間の自律性を損なうこと、補完的な人間のタスクのパフォーマンスを達成できないこと、理解性を高める他の可能なアプローチを放棄することを含む、Xaiの基準として妥当性を使用することの結果をさらに明らかにしています。
測定の無効性と非倫理的な問題のため、このポジションペーパーは、Xaiアルゴリズムの評価と最適化の基準としての妥当性の使用を停止する必要があると主張しています。
また、補完的な人間のタスクのパフォーマンスを含む、ユーザーへの信頼性、理解性、および有用性においてXaiを改善するための新しい研究アプローチを描きます。

要約(オリジナル)

Explainable artificial intelligence (XAI) is motivated by the problem of making AI predictions understandable, transparent, and responsible, as AI becomes increasingly impactful in society and high-stakes domains. The evaluation and optimization criteria of XAI are gatekeepers for XAI algorithms to achieve their expected goals and should withstand rigorous inspection. To improve the scientific rigor of XAI, we conduct a critical examination of a common XAI criterion: plausibility. Plausibility assesses how convincing the AI explanation is to humans, and is usually quantified by metrics of feature localization or feature correlation. Our examination shows that plausibility is invalid to measure explainability, and human explanations are not the ground truth for XAI, because doing so ignores the necessary assumptions underpinning an explanation. Our examination further reveals the consequences of using plausibility as an XAI criterion, including increasing misleading explanations that manipulate users, deteriorating users’ trust in the AI system, undermining human autonomy, being unable to achieve complementary human-AI task performance, and abandoning other possible approaches of enhancing understandability. Due to the invalidity of measurements and the unethical issues, this position paper argues that the community should stop using plausibility as a criterion for the evaluation and optimization of XAI algorithms. We also delineate new research approaches to improve XAI in trustworthiness, understandability, and utility to users, including complementary human-AI task performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google