What I Cannot Predict, I Do Not Understand: A Human-Centered Evaluation Framework for Explainability Methods

要約

最新の AI システムがどのように意思決定を行うかをよりよく理解するために、多数の説明可能性手法と関連する忠実度パフォーマンス メトリックが提案されています。
ただし、現在の作業の多くは理論的なままであり、人間のエンド ユーザーについてはあまり考慮されていません。
特に、(1) 現在の説明可能性手法がより現実的なシナリオで実際にどの程度有用であるか、(2) 関連するパフォーマンス メトリクスが、個々の説明が人間のエンドユーザーがどの程度の知識に貢献するかを正確に予測する方法はまだわかっていません。
システムの内部の仕組みを理解する。
このギャップを埋めるために、心理物理実験を大規模に実施し、人間の参加者が代表的な帰属方法を活用して、3 つの現実世界のシナリオを表すさまざまな画像分類子の動作を理解する能力を評価しました。AI システムのバイアスの特定、視覚戦略の特徴付けです。
訓練を受けていない非専門家の人間の観察者にとって難しすぎるタスクに使用するだけでなく、その失敗例を理解することもできます。
私たちの結果は、個々の帰属方法が人間の参加者が AI システムをよりよく理解するのにどの程度役立つかが、これらのシナリオ間で大きく異なることを示しています。
これは、人間のエンドユーザーに質的に異なる情報源を提供する補完的なアプローチの開発に向けて、現在の帰属方法の定量的改善を超えた分野への重要な必要性を示唆しています。

要約(オリジナル)

A multitude of explainability methods and associated fidelity performance metrics have been proposed to help better understand how modern AI systems make decisions. However, much of the current work has remained theoretical — without much consideration for the human end-user. In particular, it is not yet known (1) how useful current explainability methods are in practice for more real-world scenarios and (2) how well associated performance metrics accurately predict how much knowledge individual explanations contribute to a human end-user trying to understand the inner-workings of the system. To fill this gap, we conducted psychophysics experiments at scale to evaluate the ability of human participants to leverage representative attribution methods for understanding the behavior of different image classifiers representing three real-world scenarios: identifying bias in an AI system, characterizing the visual strategy it uses for tasks that are too difficult for an untrained non-expert human observer as well as understanding its failure cases. Our results demonstrate that the degree to which individual attribution methods help human participants better understand an AI system varied widely across these scenarios. This suggests a critical need for the field to move past quantitative improvements of current attribution methods towards the development of complementary approaches that provide qualitatively different sources of information to human end-users.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google