Algorithmic Assistance with Recommendation-Dependent Preferences

要約

アルゴリズムを使用してリスク評価を作成する場合、通常、これらの予測は、リスクスコアが裁判官や医師に提示される場合など、人間の決定に役立つ情報を提供するものであると考えられます。
しかし、意思決定者がアルゴリズムの支援を受けると、その情報に反応するだけではなくなる可能性があります。
意思決定者は、アルゴリズムの入力をデフォルトの行動を推奨するものとみなす可能性があり、裁判官が被告の高リスク評価を覆すことに消極的である場合や、医師が逸脱の結果を恐れている場合など、逸脱するとコストが高くつく場合があります。
推奨手順から。
この記事では、人間とマシンの共同意思決定のプリンシパル エージェント モデルを提案します。
このモデルでは、アルゴリズムによる推奨事項が信念を変えるだけでなく、好みを変えることによって選択に影響を与える場合の効果と設計を検討します。
私たちはこの仮定を、監査を回避したいという制度的要因と、ここではアルゴリズムによって設定されている基準点に対する損失回避を予測する行動科学の確立されたモデルから動機づけています。
私たちは、意思決定者が推奨に過剰に反応する場合、推奨に依存する好みが非効率を生み出すことを示します。
潜在的な解決策として、推奨を戦略的に保留するアルゴリズムについて説明し、それが最終決定の品質をどのように向上させることができるかを示します。

要約(オリジナル)

When we use algorithms to produce risk assessments, we typically think of these predictions as providing helpful input to human decisions, such as when risk scores are presented to judges or doctors. But when a decision-maker obtains algorithmic assistance, they may not only react to the information. The decision-maker may view the input of the algorithm as recommending a default action, making it costly for them to deviate, such as when a judge is reluctant to overrule a high-risk assessment of a defendant or a doctor fears the consequences of deviating from recommended procedures. In this article, we propose a principal-agent model of joint human-machine decision-making. Within this model, we consider the effect and design of algorithmic recommendations when they affect choices not just by shifting beliefs, but also by altering preferences. We motivate this assumption from institutional factors, such as a desire to avoid audits, as well as from well-established models in behavioral science that predict loss aversion relative to a reference point, which here is set by the algorithm. We show that recommendation-dependent preferences create inefficiencies where the decision-maker is overly responsive to the recommendation. As a potential remedy, we discuss algorithms that strategically withhold recommendations, and show how they can improve the quality of final decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google