Designing Algorithmic Recommendations to Achieve Human-AI Complementarity

要約

アルゴリズムは人間の意思決定者に取って代わるのではなく、支援することがよくあります。
ただし、アルゴリズムの設計と分析は、結果の予測に焦点を当てていることが多く、人間の決定に対する結果の影響を明示的にモデル化していません。
アルゴリズムアシスタントの設計と役割の間のこの不一致は、アルゴリズムアシスタントが人間の決定を改善することに何度も失敗していることを示唆する経験的証拠を考慮すると、特に懸念されます。
この記事では、推奨が意思決定にどのように影響するかについて事前に限定的な仮定を行うことなく、人間の意思決定者を支援する推奨アルゴリズムの設計を形式化します。
私たちは、人間の意思決定者の二者択一の治療選択に対する推奨の影響をモデル化するために、因果推論からの潜在的な結果のフレームワークを活用するアルゴリズム設計問題を定式化します。
このモデル内に、アルゴリズムに対する人間の反応の直感的な分類につながる単調性の仮定を導入します。
この単調性の仮定の下では、アルゴリズムの推奨に対する人間の反応を、アルゴリズムへの順守と、アルゴリズムが推奨を送信しなかった場合にとる決定の観点から表現できます。
採用タスクをシミュレートするオンライン実験を使用して、フレームワークの有用性を紹介します。
私たちのアプローチは、実験におけるさまざまな推奨アルゴリズムの相対的なパフォーマンスを説明し、人間と AI の相補性を実現するソリューションの設計に役立つと主張します。

要約(オリジナル)

Algorithms frequently assist, rather than replace, human decision-makers. However, the design and analysis of algorithms often focus on predicting outcomes and do not explicitly model their effect on human decisions. This discrepancy between the design and role of algorithmic assistants becomes of particular concern in light of empirical evidence that suggests that algorithmic assistants again and again fail to improve human decisions. In this article, we formalize the design of recommendation algorithms that assist human decision-makers without making restrictive ex-ante assumptions about how recommendations affect decisions. We formulate an algorithmic-design problem that leverages the potential-outcomes framework from causal inference to model the effect of recommendations on a human decision-maker’s binary treatment choice. Within this model, we introduce a monotonicity assumption that leads to an intuitive classification of human responses to the algorithm. Under this monotonicity assumption, we can express the human’s response to algorithmic recommendations in terms of their compliance with the algorithm and the decision they would take if the algorithm sends no recommendation. We showcase the utility of our framework using an online experiment that simulates a hiring task. We argue that our approach explains the relative performance of different recommendation algorithms in the experiment, and can help design solutions that realize human-AI complementarity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google