Uncertainty-Estimation with Normalized Logits for Out-of-Distribution Detection

要約

分布外 (OOD) の検出は、ディープ ラーニング モデルが誤った予測を行うのを防ぎ、人工知能システムの安全性を確保するために重要です。
特に、医療診断や自動運転などの安全性が重要なアプリケーションでは、通常、誤った決定のコストは耐えられません。
ただし、ニューラル ネットワークは過信の問題に悩まされることが多く、トレーニング プロセス中に決して見られず、トレーニング データ、つまり分布内 (ID) データとは無関係である可能性がある OOD データの信頼度が高くなります。
予測の信頼性を判断することは、依然として困難でやりがいのある作業です。
この作業では、正規化されたロジットを使用した不確実性推定 (UE-NL) を提案します。これは、OOD 検出のための堅牢な学習方法であり、主に 3 つの利点があります。
(1) UE-NL を使用したニューラル ネットワークは、入力データの不確実性スコアを予測することにより、すべての ID サンプルを均等に扱い、不確実性をソフトマックス関数に追加して、トレーニング フェーズ中にイージー サンプルとハード サンプルの学習強度を調整し、モデルをロバストに学習させ、
正確に。
(2) UE-NL は、ロジットに一定のベクトル ノルムを適用して、増加する出力ノルムの影響を最適化プロセスから切り離します。これにより、過信の問題がある程度発生します。
(3) UE-NL は、OOD データを検出するために、不確実性スコアの大きさという新しいメトリックを提供します。
実験では、UE-NL が一般的な OOD ベンチマークで最高のパフォーマンスを達成し、他の方法では OOD データと誤判定される可能性のあるノイズの多い ID データに対してより堅牢であることが実証されています。

要約(オリジナル)

Out-of-distribution (OOD) detection is critical for preventing deep learning models from making incorrect predictions to ensure the safety of artificial intelligence systems. Especially in safety-critical applications such as medical diagnosis and autonomous driving, the cost of incorrect decisions is usually unbearable. However, neural networks often suffer from the overconfidence issue, making high confidence for OOD data which are never seen during training process and may be irrelevant to training data, namely in-distribution (ID) data. Determining the reliability of the prediction is still a difficult and challenging task. In this work, we propose Uncertainty-Estimation with Normalized Logits (UE-NL), a robust learning method for OOD detection, which has three main benefits. (1) Neural networks with UE-NL treat every ID sample equally by predicting the uncertainty score of input data and the uncertainty is added into softmax function to adjust the learning strength of easy and hard samples during training phase, making the model learn robustly and accurately. (2) UE-NL enforces a constant vector norm on the logits to decouple the effect of the increasing output norm from optimization process, which causes the overconfidence issue to some extent. (3) UE-NL provides a new metric, the magnitude of uncertainty score, to detect OOD data. Experiments demonstrate that UE-NL achieves top performance on common OOD benchmarks and is more robust to noisy ID data that may be misjudged as OOD data by other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google