AI Reliance and Decision Quality: Fundamentals, Interdependence, and the Effects of Interventions

要約

AIが支援する意思決定において、人間がループに参加することの重要な約束は、人間がAIシステムの間違った推奨を上書きすることによって、AIシステムを補完することができるということである。しかし実際には、人間がAIの推奨の正しさを評価することができず、結果として間違ったアドバイスを守ったり、正しいアドバイスを上書きしてしまうことがよくある。AIの推奨に依存するさまざまな方法は、意思決定の質に直接的でありながら明確な影響を与える。残念ながら、AIによる意思決定支援に関する現在の文献では、依存と意思決定の質はしばしば不適切に混同されている。本研究では、信頼と意思決定の質の関係を分離し、形式化することで、人間とAIの相補性が達成可能な条件を特徴付ける。信頼性と意思決定の質が互いにどのように関連しているかを説明するために、視覚的な枠組みを提案し、説明のような介入の効果を含む経験的知見を解釈するための有用性を実証する。全体として、我々の研究は、AIによる意思決定支援において、信頼行動と意思決定の質を区別することの重要性を強調している。

要約(オリジナル)

In AI-assisted decision-making, a central promise of having a human-in-the-loop is that they should be able to complement the AI system by overriding its wrong recommendations. In practice, however, we often see that humans cannot assess the correctness of AI recommendations and, as a result, adhere to wrong or override correct advice. Different ways of relying on AI recommendations have immediate, yet distinct, implications for decision quality. Unfortunately, reliance and decision quality are often inappropriately conflated in the current literature on AI-assisted decision-making. In this work, we disentangle and formalize the relationship between reliance and decision quality, and we characterize the conditions under which human-AI complementarity is achievable. To illustrate how reliance and decision quality relate to one another, we propose a visual framework and demonstrate its usefulness for interpreting empirical findings, including the effects of interventions like explanations. Overall, our research highlights the importance of distinguishing between reliance behavior and decision quality in AI-assisted decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL