Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image Labeling

要約

ディープ ニューラル ネットワークは、一か八かの領域に導入されることが一般的であるため、そのブラックボックスの性質により、不確実性の定量化が困難になります。
私たちは、AI アドバイスによる意思決定における不確実性を表現するために、等角予測セット (指定された範囲で予測セットを生成するための分布を使用しないクラスのメソッド) を提示する効果を調査します。
大規模なオンライン実験を通じて、等角予測セットの有用性を、AI アドバイスの画像ラベル付けにおける Top-$1$ および Top-$k$ 予測の表示と比較しました。
事前に登録された分析では、精度に対する予測セットの有用性はタスクの難易度に応じて変化することがわかりました。一方で、簡単な画像の場合は、Top-$1$ および Top-$k$ の表示と同等かそれ以下の精度が得られます。
、予測セットは、特にセットのサイズが小さい場合、人間による配布外 (OOD) 画像のラベル付けを支援するのに優れています。
私たちの結果は、等角予測セットの実際的な課題を経験的に正確に特定し、現実世界の意思決定にそれらを組み込む方法についての示唆を提供します。

要約(オリジナル)

As deep neural networks are more commonly deployed in high-stakes domains, their black-box nature makes uncertainty quantification challenging. We investigate the effects of presenting conformal prediction sets — a distribution-free class of methods for generating prediction sets with specified coverage — to express uncertainty in AI-advised decision-making. Through a large online experiment, we compare the utility of conformal prediction sets to displays of Top-$1$ and Top-$k$ predictions for AI-advised image labeling. In a pre-registered analysis, we find that the utility of prediction sets for accuracy varies with the difficulty of the task: while they result in accuracy on par with or less than Top-$1$ and Top-$k$ displays for easy images, prediction sets excel at assisting humans in labeling out-of-distribution (OOD) images, especially when the set size is small. Our results empirically pinpoint practical challenges of conformal prediction sets and provide implications on how to incorporate them for real-world decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google