Conformal Prediction Sets Improve Human Decision Making

要約

日常の質問に応じて、人間は明確に不確実性を示し、不確かな場合には別の回答を提供します。
等角予測を通じて校正された予測セットを出力する機械学習モデルは、この人間の行動を模倣します。
より大きなセットは、代替手段を提供する一方で、より大きな不確実性を示します。
この研究では、人間の被験者に提供された等角予測セットを使用して事前登録されたランダム化比較試験を実施することにより、人間の意思決定の補助としての等角予測セットの有用性を研究します。
統計的有意性により、人間に等角予測セットを与えた場合、同じカバレッジ保証を持つ固定サイズの予測セットと比較して、タスクの精度が向上することがわかりました。
この結果は、等角予測によるモデルの不確実性の定量化が、人間参加型の意思決定や人間と AI のチームに役立つことを示しています。

要約(オリジナル)

In response to everyday queries, humans explicitly signal uncertainty and offer alternative answers when they are unsure. Machine learning models that output calibrated prediction sets through conformal prediction mimic this human behaviour; larger sets signal greater uncertainty while providing alternatives. In this work, we study the usefulness of conformal prediction sets as an aid for human decision making by conducting a pre-registered randomized controlled trial with conformal prediction sets provided to human subjects. With statistical significance, we find that when humans are given conformal prediction sets their accuracy on tasks improves compared to fixed-size prediction sets with the same coverage guarantee. The results show that quantifying model uncertainty with conformal prediction is helpful for human-in-the-loop decision making and human-AI teams.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google