When to Accept Automated Predictions and When to Defer to Human Judgment?

要約

自動化された意思決定の信頼性と安全性を確保することが重要です。
機械学習におけるデータ分布の変化により、信頼性の低い結果が生じる可能性があることはよく知られています。
この論文では、分布シフトの下での予測の信頼性を測定するための新しいアプローチを提案します。
クラスタリングを使用して、訓練されたニューラル ネットワークの出力がどのように変化するかを分析し、出力とクラス重心の間の距離を測定します。
私たちは、この距離を、分布シフトの下での予測の信頼性を評価するための指標として提案します。
各予測を、特定のクラスのすべての正しい予測の平均ソフトマックス出力を表す重心を持つクラスターに割り当てます。
次に、クラスの安全しきい値を、誤った予測から指定されたクラス重心までの最小距離として定義します。
畳み込みニューラル ネットワークとビジョン トランスフォーマーをそれぞれ使用して、MNIST と CIFAR-10 データセットに対するアプローチを評価します。
結果は、私たちのアプローチがこれらのデータセットとネットワークモデル全体で一貫していることを示しており、提案されたメトリクスが、自動予測が受け入れられる時期と、分布の変化を考慮して人間のオペレーターに延期すべき時期を決定する効率的な方法を提供できることを示しています。

要約(オリジナル)

Ensuring the reliability and safety of automated decision-making is crucial. It is well-known that data distribution shifts in machine learning can produce unreliable outcomes. This paper proposes a new approach for measuring the reliability of predictions under distribution shifts. We analyze how the outputs of a trained neural network change using clustering to measure distances between outputs and class centroids. We propose this distance as a metric to evaluate the confidence of predictions under distribution shifts. We assign each prediction to a cluster with centroid representing the mean softmax output for all correct predictions of a given class. We then define a safety threshold for a class as the smallest distance from an incorrect prediction to the given class centroid. We evaluate the approach on the MNIST and CIFAR-10 datasets using a Convolutional Neural Network and a Vision Transformer, respectively. The results show that our approach is consistent across these data sets and network models, and indicate that the proposed metric can offer an efficient way of determining when automated predictions are acceptable and when they should be deferred to human operators given a distribution shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google