Underspecified Human Decision Experiments Considered Harmful

要約

情報ディスプレイを用いた意思決定は、人間とAIの協働やデータの可視化などの分野において、研究の重要な焦点となっている。しかし、何が意思決定問題を構成するのか、そして意思決定に欠陥があると結論付ける実験に必要なものは何なのか、依然として不正確なままである。我々は、統計的決定理論と情報経済学から統合された、広く適用可能な決定問題の定義を提示する。人間のパフォーマンスの損失をバイアスに帰するためには、合理的なエージェントが規範となる決定を特定するために必要な情報を実験が提供しなければならないと主張する。我々は、AIによる意思決定支援に関する最近の実証研究がこの基準を達成しているかどうかを評価する。我々は、偏った行動を識別すると主張する39の研究のうち、少なくとも1つの処理条件において、この主張を行うのに十分な情報を被験者に提示したのはわずか10（26％）であることを発見した。我々は、明確に定義された意思決定問題を研究することの価値を、それが可能にするパフォーマンス損失の特徴を説明することによって動機付ける。

要約(オリジナル)

Decision-making with information displays is a key focus of research in areas like human-AI collaboration and data visualization. However, what constitutes a decision problem, and what is required for an experiment to conclude that decisions are flawed, remain imprecise. We present a widely applicable definition of a decision problem synthesized from statistical decision theory and information economics. We claim that to attribute loss in human performance to bias, an experiment must provide the information that a rational agent would need to identify the normative decision. We evaluate whether recent empirical research on AI-assisted decisions achieves this standard. We find that only 10 (26%) of 39 studies that claim to identify biased behavior presented participants with sufficient information to make this claim in at least one treatment condition. We motivate the value of studying well-defined decision problems by describing a characterization of performance losses they allow to be conceived.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL