In Search of Verifiability: Explanations Rarely Enable Complementary Performance in AI-Advised Decision Making

要約

AI による意思決定に関する現在の文献 (人間の意思決定者にアドバイスする説明可能な AI システムを含む) では、一連の決定的ではない、混乱を招く結果が示されています。
これらの発見を総合するために、適切な信頼性と補完的な意思決定パフォーマンスを生み出すために AI の説明が頻繁に失敗することを解明する単純な理論を提案します。
私たちは、説明は、AI の推論プロセスの解釈可能性や詳細な説明などの他の要望とは対照的に、人間の意思決定者が AI の予測の正しさを検証できる程度にのみ有用であると主張します。
先行研究では、多くの意思決定の状況において、AI の説明がそのような検証を促進しないことがわかっています。
また、どのような説明方法であっても、基本的に検証が不可能な文脈がほとんどです。
最後に、より効果的に説明可能な AI に基づく意思決定と人間と AI のコラボレーションのための潜在的なアプローチについて説明します。

要約(オリジナル)

The current literature on AI-advised decision making — involving explainable AI systems advising human decision makers — presents a series of inconclusive and confounding results. To synthesize these findings, we propose a simple theory that elucidates the frequent failure of AI explanations to engender appropriate reliance and complementary decision making performance. We argue explanations are only useful to the extent that they allow a human decision maker to verify the correctness of an AI’s prediction, in contrast to other desiderata, e.g., interpretability or spelling out the AI’s reasoning process. Prior studies find in many decision making contexts AI explanations do not facilitate such verification. Moreover, most contexts fundamentally do not allow verification, regardless of explanation method. We conclude with a discussion of potential approaches for more effective explainable AI-advised decision making and human-AI collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google