Algorithmic Assistance with Recommendation-Dependent Preferences

要約

アルゴリズムがリスク評価を提供するとき、私たちは通常、リスクスコアが裁判官や医師に提示されるときなど、人間の決定に役立つ入力であると考えます。
ただし、意思決定者はアルゴリズムによって提供される情報だけに反応するわけではありません。
また、意思決定者は、アルゴリズムによる推奨を既定の措置とみなす可能性があり、裁判官が被告の高リスク評価を覆すことに消極的である場合や、医師が推奨から逸脱した場合の結果を恐れている場合など、逸脱するとコストが高くつく場合があります。
手順。
このようなアルゴリズム支援の意図しない結果に対処するために、人間とマシンの共同意思決定のプリンシパル エージェント モデルを提案します。
このモデルでは、アルゴリズムによる推奨事項が信念を変えるだけでなく、好みを変えることによって選択に影響を与える場合の効果と設計を検討します。
私たちはこの仮定を、監査を回避したいという制度的要因と、ここではアルゴリズムによって設定されている基準点に対する損失回避を予測する行動科学の確立されたモデルから動機づけています。
私たちは、意思決定者が推奨に過剰に反応する場合、推奨に依存する好みが非効率を生み出すことを示します。
潜在的な解決策として、推奨を戦略的に保留するアルゴリズムについて説明し、それが最終決定の品質をどのように向上させることができるかを示します。

要約(オリジナル)

When an algorithm provides risk assessments, we typically think of them as helpful inputs to human decisions, such as when risk scores are presented to judges or doctors. However, a decision-maker may not only react to the information provided by the algorithm. The decision-maker may also view the algorithmic recommendation as a default action, making it costly for them to deviate, such as when a judge is reluctant to overrule a high-risk assessment for a defendant or a doctor fears the consequences of deviating from recommended procedures. To address such unintended consequences of algorithmic assistance, we propose a principal-agent model of joint human-machine decision-making. Within this model, we consider the effect and design of algorithmic recommendations when they affect choices not just by shifting beliefs, but also by altering preferences. We motivate this assumption from institutional factors, such as a desire to avoid audits, as well as from well-established models in behavioral science that predict loss aversion relative to a reference point, which here is set by the algorithm. We show that recommendation-dependent preferences create inefficiencies where the decision-maker is overly responsive to the recommendation. As a potential remedy, we discuss algorithms that strategically withhold recommendations, and show how they can improve the quality of final decisions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google