Using AI Uncertainty Quantification to Improve Human Decision-Making

要約

AI 不確実性定量化 (UQ) は、追加の確率情報をユーザーに提供することで、AI 予測だけを超えて人間の意思決定を改善する可能性があります。
AI と人間の意思決定に関する過去の研究の大部分は、モデルの説明可能性と解釈可能性に焦点を当てており、人間の意思決定に対する UQ の潜在的な影響を理解することにはほとんど焦点を当てていませんでした。
私たちは、2 つのオンライン行動実験で、厳格なスコアリング ルールを使用して調整されたインスタンス レベルの UQ が人間の意思決定に与える影響を評価しました。
最初の実験では、UQ が AI 予測のみと比較して意思決定のパフォーマンスに有益であることが結果からわかりました。
2 番目の実験では、確率情報のさまざまな表現にわたる意思決定において、UQ には一般化可能な利点があることがわかりました。
これらの結果は、AI に高品質のインスタンス レベルの UQ を実装すると、AI 予測のみと比較して実際のシステムでの意思決定が向上する可能性があることを示しています。

要約(オリジナル)

AI Uncertainty Quantification (UQ) has the potential to improve human decision-making beyond AI predictions alone by providing additional probabilistic information to users. The majority of past research on AI and human decision-making has concentrated on model explainability and interpretability, with little focus on understanding the potential impact of UQ on human decision-making. We evaluated the impact on human decision-making for instance-level UQ, calibrated using a strict scoring rule, in two online behavioral experiments. In the first experiment, our results showed that UQ was beneficial for decision-making performance compared to only AI predictions. In the second experiment, we found UQ had generalizable benefits for decision-making across a variety of representations for probabilistic information. These results indicate that implementing high quality, instance-level UQ for AI may improve decision-making with real systems compared to AI predictions alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google