AI-Assisted Decision Making with Human Learning

要約

AIシステムは、人間の意思決定をますますサポートしています。
多くの場合、アルゴリズムの優れたパフォーマンスにもかかわらず、最終決定は人間の手に残っています。
たとえば、AIは医師が実行する診断検査を決定するのを支援する場合がありますが、医師は最終的に診断を行います。
このペーパーでは、そのようなAI支援の意思決定設定を研究します。ここでは、人間はアルゴリズムとの繰り返しの相互作用を通じて学習します。
私たちのフレームワークでは、アルゴリズムは、独自のモデルに応じて意思決定の精度を最大化するように設計されていますが、人間が考慮できる機能を決定します。
その後、人間は自分のより正確なモデルに基づいて予測を行います。
アルゴリズムのモデルと人間のモデルの間の矛盾が基本的なトレードオフを作成することを観察します。
アルゴリズムは、より有益な機能を推奨する優先順位を付けて、学習が発生するまで短期的には正確な予測をもたらしたとしても、人間がその重要性を認識するよう奨励する必要がありますか？
または、人間を教育し、代わりに既存の理解とより密接に整合し、学習の即時コストを最小限に抑える選択を選択することが望ましいですか？
このトレードオフは、アルゴリズムの時間延長された目的と人間の学習能力によって形作られます。
我々の結果は、最適な特徴選択には、驚くほどクリーンな組み合わせ特性化があり、計算に対処できる特徴サブセットの固定シーケンスに還元可能であることを示しています。
アルゴリズムがより「患者」になるか、人間の学習が改善されると、アルゴリズムはより有益な機能を選択し、予測の精度と人間の理解の両方を強化します。
特に、学習への早期投資は、後の投資よりも有益な機能の選択につながります。
アルゴリズムの知識へのエラーの影響は、予測を直接行わないため、限られていることを示すことにより、分析を補完します。

要約(オリジナル)

AI systems increasingly support human decision-making. In many cases, despite the algorithm’s superior performance, the final decision remains in human hands. For example, an AI may assist doctors in determining which diagnostic tests to run, but the doctor ultimately makes the diagnosis. This paper studies such AI-assisted decision-making settings, where the human learns through repeated interactions with the algorithm. In our framework, the algorithm — designed to maximize decision accuracy according to its own model — determines which features the human can consider. The human then makes a prediction based on their own less accurate model. We observe that the discrepancy between the algorithm’s model and the human’s model creates a fundamental tradeoff. Should the algorithm prioritize recommending more informative features, encouraging the human to recognize their importance, even if it results in less accurate predictions in the short term until learning occurs? Or is it preferable to forgo educating the human and instead select features that align more closely with their existing understanding, minimizing the immediate cost of learning? This tradeoff is shaped by the algorithm’s time-discounted objective and the human’s learning ability. Our results show that optimal feature selection has a surprisingly clean combinatorial characterization, reducible to a stationary sequence of feature subsets that is tractable to compute. As the algorithm becomes more ‘patient’ or the human’s learning improves, the algorithm increasingly selects more informative features, enhancing both prediction accuracy and the human’s understanding. Notably, early investment in learning leads to the selection of more informative features than a later investment. We complement our analysis by showing that the impact of errors in the algorithm’s knowledge is limited as it does not make the prediction directly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google