Explorations of the Softmax Space: Knowing When the Neural Network Doesn’t Know

要約

人工知能システムが重要な状況でより広く展開されるため、ニューラルネットワークに基づいた自動化された意思決定の信頼性を確保することが重要です。
このペーパーでは、ソフトマックス層の予測に依存するニューラルネットワークの予測に対する自信を測定するための新しいアプローチを提案します。
高精度の訓練されたネットワークには、信頼性が低い特定の出力がある可能性があることを特定します。
そのような場合、決定は延期されるべきであり、ネットワークが対応する分類タスクに対する\ textIT {no necled}の回答を提供することがより適切です。
私たちのアプローチは、SoftMax層のベクトルをクラスターして、クラスター重心とネットワーク出力の距離を測定します。
すべての正しい予測の平均ソフトマックス出力が信頼性の評価において適切なプロキシとして機能するため、単純に計算されたCentroidのクラスターが単に計算されたことを示します。
誤った予測から指定されたクラスのCentroidまでの最小の距離としてクラスの距離のしきい値を定義することは、しきい値の外側にあるネットワーク分類に対する\ textit {no nole nole noleed}の回答を追加するための簡単なアプローチを提供します。
畳み込みニューラルネットワークと視覚変圧器を使用して、MNISTおよびCIFAR-10データセットのアプローチを評価します。
結果は、私たちのアプローチがデータセットとネットワークモデル間で一貫していることを示しており、提案された距離メトリックが、自動化された予測が受け入れられる時期とそれらが人間のオペレーターに延期されるべき時期を決定する効率的な方法を提供できることを示しています。

要約(オリジナル)

Ensuring the reliability of automated decision-making based on neural networks will be crucial as Artificial Intelligence systems are deployed more widely in critical situations. This paper proposes a new approach for measuring confidence in the predictions of any neural network that relies on the predictions of a softmax layer. We identify that a high-accuracy trained network may have certain outputs for which there should be low confidence. In such cases, decisions should be deferred and it is more appropriate for the network to provide a \textit{not known} answer to a corresponding classification task. Our approach clusters the vectors in the softmax layer to measure distances between cluster centroids and network outputs. We show that a cluster with centroid calculated simply as the mean softmax output for all correct predictions can serve as a suitable proxy in the evaluation of confidence. Defining a distance threshold for a class as the smallest distance from an incorrect prediction to the given class centroid offers a simple approach to adding \textit{not known} answers to any network classification falling outside of the threshold. We evaluate the approach on the MNIST and CIFAR-10 datasets using a Convolutional Neural Network and a Vision Transformer, respectively. The results show that our approach is consistent across datasets and network models, and indicate that the proposed distance metric can offer an efficient way of determining when automated predictions are acceptable and when they should be deferred to human operators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google