Decision Theoretic Foundations for Experiments Evaluating Human Decisions

要約

人間が情報ディスプレイをどのように利用して意思決定を行うかは、人間中心の AI、モデルの説明可能性、データの視覚化、および関連分野において主な関心事です。
しかし、何が意思決定の問題を構成するのか、そして人間の意思決定が改善される可能性があることを証明する研究に何が必要なのかは、依然として推測の余地がある。
私たちは、HCI において人間の意思決定をいつ改善できるかを確立するための標準として、統計的意思決定理論と情報経済学から合成された、広く適用可能な意思決定問題の定義を提案します。
人間のパフォーマンスの損失をバイアスの形に帰すためには、合理的なエージェントが効用を最大化する決定を特定するために必要な情報を実験で参加者に提供する必要があると我々は主張する。
実証として、AI 支援による意思決定に関する文献からの意思決定の最近の評価がこれらの基準をどの程度達成しているかを評価します。
偏った行動を特定すると主張する39件の研究のうち、少なくとも1つの治療条件において彼らの行動が適切な意思決定から逸脱していることを特徴付ける十分な情報を参加者に提供しているのはわずか10件（26\%）であることがわかりました。
私たちは、明確に定義された意思決定問題を研究することの価値を、それらによって考えられるパフォーマンス損失の特徴を説明することによって動機づけます。
対照的に、意思決定の問題が不十分に伝えられると、その曖昧さが規範的な解釈を妨げます。
最後に、実践のための推奨事項を紹介します。

要約(オリジナル)

DeHow well people use information displays to make decisions is of primary interest in human-centered AI, model explainability, data visualization, and related areas. However, what constitutes a decision problem, and what is required for a study to establish that human decisions could be improved remain open to speculation. We propose a widely applicable definition of a decision problem synthesized from statistical decision theory and information economics as a standard for establishing when human decisions can be improved in HCI. We argue that to attribute loss in human performance to forms of bias, an experiment must provide participants with the information that a rational agent would need to identify the utility-maximizing decision. As a demonstration, we evaluate the extent to which recent evaluations of decision-making from the literature on AI-assisted decisions achieve these criteria. We find that only 10 (26\%) of 39 studies that claim to identify biased behavior present participants with sufficient information to characterize their behavior as deviating from good decision-making in at least one treatment condition. We motivate the value of studying well-defined decision problems by describing a characterization of performance losses they allow us to conceive. In contrast, the ambiguities of a poorly communicated decision problem preclude normative interpretation. We conclude with recommendations for practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google