For Better or Worse: The Impact of Counterfactual Explanations’ Directionality on User Behavior in xAI

要約

反事実的説明 (CFE) は、説明可能な人工知能 (xAI) で一般的なアプローチであり、モデルの出力を変更するために必要な入力データの変更を強調表示します。
CFE は、実際の状態よりも良いシナリオ (上向き CFE) を記述することも、実際の状態よりも悪いシナリオ (下向き CFE) を記述することもできます。
ただし、xAI におけるユーザーの行動に対する CFE の方向性の潜在的な利点と欠点は依然として不明瞭です。
現在のユーザー調査 (N=161) では、モデル予測と CFE に基づいて自動システムから新しい知識を抽出する任務を負った参加者の行動と経験に対する CFE の方向性の影響を比較しています。
結果は、上向きの CFE が他の形式の反事実フィードバックよりもパフォーマンスに大きな利点があることを示唆しています。
さらに、この研究では、下向きの CFE や説明のない CFE と比較して、混合 CFE がユーザー パフォーマンスを向上させる潜在的な利点を強調しています。
パフォーマンスの結果と一致して、上向きの CFE を受け取った後のシステムに関するユーザーの明示的な知識は、下向きの比較と比較して統計的に高くなります。
これらの発見は、説明と当面のタスクとの整合性、いわゆる規制適合性が、モデルの説明の有効性を決定する上で重要な役割を果たし、xAI における将来の研究の方向性を決定する可能性があることを示唆しています。
研究の再現性を確保するために、この研究のコード全体、基礎となるモデル、およびユーザー データは、https://github.com/ukuhl/DirectionalAlienZoo で公開されています。

要約(オリジナル)

Counterfactual explanations (CFEs) are a popular approach in explainable artificial intelligence (xAI), highlighting changes to input data necessary for altering a model’s output. A CFE can either describe a scenario that is better than the factual state (upward CFE), or a scenario that is worse than the factual state (downward CFE). However, potential benefits and drawbacks of the directionality of CFEs for user behavior in xAI remain unclear. The current user study (N=161) compares the impact of CFE directionality on behavior and experience of participants tasked to extract new knowledge from an automated system based on model predictions and CFEs. Results suggest that upward CFEs provide a significant performance advantage over other forms of counterfactual feedback. Moreover, the study highlights potential benefits of mixed CFEs improving user performance compared to downward CFEs or no explanations. In line with the performance results, users’ explicit knowledge of the system is statistically higher after receiving upward CFEs compared to downward comparisons. These findings imply that the alignment between explanation and task at hand, the so-called regulatory fit, may play a crucial role in determining the effectiveness of model explanations, informing future research directions in xAI. To ensure reproducible research, the entire code, underlying models and user data of this study is openly available: https://github.com/ukuhl/DirectionalAlienZoo

arxiv情報

提供元, 利用サービス

arxiv.jp, Google