Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals

要約

反事実的説明は、(i) 問題領域全体への適用可能性、(ii) 提案された法的コンプライアンス (GDPR など)、および (iii) 人間による説明の対照的な性質への依存により、事後説明の形式としてますます人気が高まっています。
反事実の説明は通常、個々の予測インスタンスを説明するために使用されますが、「グループの反事実」を使用して、類似したインスタンスのグループが集合的に説明されるという新しいユースケースを探ります (たとえば、病気の繰り返しパターンを強調するために)
患者のグループ）。
これらのグループの反事実は、複数のイベント/インスタンスをカバーする一貫性のある幅広い説明に対する人間の好みを満たしています。
説明対象のモデルに忠実な高カバレッジの説明を生成するために、新しいグループ反事実アルゴリズムが提案されています。
この説明戦略は、大規模な管理されたユーザー調査 (N=207) でも評価され、客観的 (正確さ) と主観的 (信頼、説明の満足度、信頼) の心理的尺度が使用されます。
結果は、グループの反事実は、AI システムに対する人々の理解において、控えめではあるが確実な改善を引き出すことを示しています。
これらの調査結果が反事実的方法と XAI に与える影響について説明します。

要約(オリジナル)

Counterfactual explanations are an increasingly popular form of post hoc explanation due to their (i) applicability across problem domains, (ii) proposed legal compliance (e.g., with GDPR), and (iii) reliance on the contrastive nature of human explanation. Although counterfactual explanations are normally used to explain individual predictive-instances, we explore a novel use case in which groups of similar instances are explained in a collective fashion using “group counterfactuals” (e.g., to highlight a repeating pattern of illness in a group of patients). These group counterfactuals meet a human preference for coherent, broad explanations covering multiple events/instances. A novel, group-counterfactual algorithm is proposed to generate high-coverage explanations that are faithful to the to-be-explained model. This explanation strategy is also evaluated in a large, controlled user study (N=207), using objective (i.e., accuracy) and subjective (i.e., confidence, explanation satisfaction, and trust) psychological measures. The results show that group counterfactuals elicit modest but definite improvements in people’s understanding of an AI system. The implications of these findings for counterfactual methods and for XAI are discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google