Decision Theoretic Foundations for Experiments Evaluating Human Decisions

要約

情報表示による意思決定は、説明可能な AI、人間と AI のチーミング、データの視覚化などの分野の研究の主な焦点です。
しかし、何が意思決定の問題を構成するのか、そして人間の意思決定に何らかの欠陥があると結論付けることができる実験に何が必要なのかは、依然として推測の余地がある。
統計的意思決定理論と情報経済学から合成された、広く適用可能な意思決定問題の定義を提示します。
人間のパフォーマンスの損失をバイアスの形に帰すためには、合理的なエージェントが規範的な決定を特定するために必要な情報を実験で参加者に提供する必要があると我々は主張する。
AI 支援による意思決定に関する文献からの意思決定の最近の評価がこの基準をどの程度達成しているかを評価します。
偏った行動を特定すると主張する39件の研究のうち、少なくとも1つの治療条件において彼らの行動が適切な意思決定から逸脱していることを特徴付ける十分な情報を参加者に提供しているのはわずか10件（26\%）であることがわかりました。
私たちは、明確に定義された意思決定問題を研究することの価値を、それらによって考えられるパフォーマンス損失の特徴を説明することによって動機づけます。
対照的に、意思決定の問題が不十分に伝えられると、その曖昧さが規範的な解釈を妨げます。
最後に、実践のための推奨事項を紹介します。

要約(オリジナル)

Decision-making with information displays is a key focus of research in areas like explainable AI, human-AI teaming, and data visualization. However, what constitutes a decision problem, and what is required for an experiment to be capable of concluding that human decisions are flawed in some way, remain open to speculation. We present a widely applicable definition of a decision problem synthesized from statistical decision theory and information economics. We argue that to attribute loss in human performance to forms of bias, an experiment must provide participants with the information that a rational agent would need to identify the normative decision. We evaluate the extent to which recent evaluations of decision-making from the literature on AI-assisted decisions achieve this criteria. We find that only 10 (26\%) of 39 studies that claim to identify biased behavior present participants with sufficient information to characterize their behavior as deviating from good decision-making in at least one treatment condition. We motivate the value of studying well-defined decision problems by describing a characterization of performance losses they allow us to conceive. In contrast, the ambiguities of a poorly communicated decision problem preclude normative interpretation. We conclude with recommendations for practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google