On the Interdependence of Reliance Behavior and Accuracy in AI-Assisted Decision-Making

要約

タイトル：AI支援の意思決定における信頼行動と正確性の相互依存関係に関する研究

要約：
– AI支援の意思決定において、人間がAIシステムの正しい推奨に従い、誤った推奨を排除することにより、AIシステムを補完するという中心的な約束がある。
– 実際には、人間はしばしばAIの推奨に対して過度に頼りすぎるか、反対にあまりにも頼らない傾向が見られる。
– このような信頼行動は、意思決定の正確性にとって有害である。
– 本研究では、これまでほとんど無視されてきたAI支援の意思決定における信頼行動と正確性の相互依存関係を明らかにし、分析する。
– また、この相互依存関係をより具体的にするためのビジュアルフレームワークを提案する。
– このフレームワークにより、経験的な発見の解釈や比較、AI支援の意思決定における介入の効果の微妙な理解を得ることができる。
– 最後に、フレームワークからいくつかの興味深い特性を推論する:
(i) 人間がAIの推奨にあまりにも頼らない場合、意思決定の正確性を向上させることができない可能性がある。
(ii) 人間が正しいと誤った推奨を識別できない場合、このような改善は期待できない。
(iii) 介入が、人間がAIの推奨に従うことによって意思決定の正確性を増加させ、正しいと誤った推奨を識別する能力はなく、従順性だけによって促進される場合がある。
– 本研究は、介入を経験的に評価する際に、正確性と信頼行動の両方の影響を測定し報告することの重要性を強調している。

要約(オリジナル)

In AI-assisted decision-making, a central promise of putting a human in the loop is that they should be able to complement the AI system by adhering to its correct and overriding its mistaken recommendations. In practice, however, we often see that humans tend to over- or under-rely on AI recommendations, meaning that they either adhere to wrong or override correct recommendations. Such reliance behavior is detrimental to decision-making accuracy. In this work, we articulate and analyze the interdependence between reliance behavior and accuracy in AI-assisted decision-making, which has been largely neglected in prior work. We also propose a visual framework to make this interdependence more tangible. This framework helps us interpret and compare empirical findings, as well as obtain a nuanced understanding of the effects of interventions (e.g., explanations) in AI-assisted decision-making. Finally, we infer several interesting properties from the framework: (i) when humans under-rely on AI recommendations, there may be no possibility for them to complement the AI in terms of decision-making accuracy; (ii) when humans cannot discern correct and wrong AI recommendations, no such improvement can be expected either; (iii) interventions may lead to an increase in decision-making accuracy that is solely driven by an increase in humans’ adherence to AI recommendations, without any ability to discern correct and wrong. Our work emphasizes the importance of measuring and reporting both effects on accuracy and reliance behavior when empirically assessing interventions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI