Statistical Tests for Replacing Human Decision Makers with Algorithms

要約

この論文では、人工知能が人間の意思決定を改善できる統計的枠組みを提案します。
人間の各意思決定者のパフォーマンスは、まず機械の予測に対してベンチマークされます。
次に、意思決定者の一部によって行われた決定を、提案された人工知能アルゴリズムからの推奨に置き換えます。
妊娠転帰と生殖可能年齢のカップルの妊娠前診断による医師の診断に関する全国的な大規模なデータセットを使用して、異常出生の検出に適用するヒューリスティック頻度主義アプローチとベイジアン事後損失関数アプローチの両方を実験しました。
テスト データセットに対するアルゴリズムにより、医師のみが診断した場合よりも全体的な真陽性率が高く、偽陽性率が低くなることがわかりました。
また、農村部の医師の診断はより頻繁に置き換え可能であることもわかり、開発が遅れている地域では人工知能による意思決定がより精度を向上させる傾向があることが示唆されています。

要約(オリジナル)

This paper proposes a statistical framework with which artificial intelligence can improve human decision making. The performance of each human decision maker is first benchmarked against machine predictions; we then replace the decisions made by a subset of the decision makers with the recommendation from the proposed artificial intelligence algorithm. Using a large nationwide dataset of pregnancy outcomes and doctor diagnoses from prepregnancy checkups of reproductive age couples, we experimented with both a heuristic frequentist approach and a Bayesian posterior loss function approach with an application to abnormal birth detection. We find that our algorithm on a test dataset results in a higher overall true positive rate and a lower false positive rate than the diagnoses made by doctors only. We also find that the diagnoses of doctors from rural areas are more frequently replaceable, suggesting that artificial intelligence assisted decision making tends to improve precision more in less developed regions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google