Rethinking AI Explainability and Plausibility

要約

タイトル：AIの説明可能性と妥当性の再考

要約：

– 説明可能な人工知能（XAI）の適切な評価目標を設定することは、XAIアルゴリズムが人間のコミュニケーション規範に従い、人間の推論プロセスをサポートし、AIの説明を必要とする人間の要求を満たすために不可欠である。
– XAI評価において最も普遍的な人間主導の概念である説明の妥当性を検討する。
– 妥当性は、機械の説明が人の説明と比較してどの程度合理的であるかを測定するもので、これまでAIの説明可能性の重要な評価目標として定式化されてきた。
– このアイデアに反対し、説明可能なAIを妥当性に最適化して評価することが、モデルの理解可能性、透明性、信頼性を達成するために有害であり、常に無効であることを示す。
– 具体的には、XAIアルゴリズムを妥当性のために評価することで、機械の説明を人間の説明とまったく同じ内容に規制してしまい、人間が説明する動機から逸脱してしまうため、信頼性に欠けることになる。
– 代わりに、説明可能性の中間的な計算的プロキシとして妥当性を活用することができる。
– また、AIの説明タスクと物体の位置決めタスクを区別することで、説明可能性に特化した評価目標の重要性を強調する。

要約(オリジナル)

Setting proper evaluation objectives for explainable artificial intelligence (XAI) is vital for making XAI algorithms follow human communication norms, support human reasoning processes, and fulfill human needs for AI explanations. In this article, we examine explanation plausibility, which is the most pervasive human-grounded concept in XAI evaluation. Plausibility measures how reasonable the machine explanation is compared to the human explanation. Plausibility has been conventionally formulated as an important evaluation objective for AI explainability tasks. We argue against this idea, and show how optimizing and evaluating XAI for plausibility is sometimes harmful, and always ineffective to achieve model understandability, transparency, and trustworthiness. Specifically, evaluating XAI algorithms for plausibility regularizes the machine explanation to express exactly the same content as human explanation, which deviates from the fundamental motivation for humans to explain: expressing similar or alternative reasoning trajectories while conforming to understandable forms or language. Optimizing XAI for plausibility regardless of the model decision correctness also jeopardizes model trustworthiness, as doing so breaks an important assumption in human-human explanation namely that plausible explanations typically imply correct decisions, and violating this assumption eventually leads to either undertrust or overtrust of AI models. Instead of being the end goal in XAI evaluation, plausibility can serve as an intermediate computational proxy for the human process of interpreting explanations to optimize the utility of XAI. We further highlight the importance of explainability-specific evaluation objectives by differentiating the AI explanation task from the object localization task.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI