Classifier-head Informed Feature Masking and Prototype-based Logit Smoothing for Out-of-Distribution Detection

要約

現実世界にニューラル ネットワークを展開する場合、分布外 (OOD) 検出は不可欠です。
主な課題の 1 つは、ニューラル ネットワークが OOD データに対して自信過剰な予測を行うことが多いことです。
この研究では、新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づいた効果的なポストホック OOD 検出方法を提案します。
特徴マスキングは、分類子ヘッド内の ID クラスの重みに基づいて、各分布内 (ID) クラスの最後から 2 番目のレイヤーで重要な特徴を決定し、残りの特徴をマスクします。
ロジット スムージングは​​、テスト サンプルの特徴ベクトルと最後から 2 番目の層の予測 ID クラスのプロトタイプの間のコサイン類似度を計算し、その類似度をロジットの適応温度係数として使用して、OOD データに対するネットワークの過信予測を軽減します。
これらの戦略により、OOD データの機能アクティベーションを減らし、ID と OOD データの間の OOD スコアの差を拡大できます。
複数の標準的な OOD 検出ベンチマークに関する広範な実験により、私たちの方法の有効性と既存の方法との互換性が実証され、私たちの方法によって達成された新しい最先端のパフォーマンスが得られます。
ソースコードは公開される予定です。

要約(オリジナル)

Out-of-distribution (OOD) detection is essential when deploying neural networks in the real world. One main challenge is that neural networks often make overconfident predictions on OOD data. In this study, we propose an effective post-hoc OOD detection method based on a new feature masking strategy and a novel logit smoothing strategy. Feature masking determines the important features at the penultimate layer for each in-distribution (ID) class based on the weights of the ID class in the classifier head and masks the rest features. Logit smoothing computes the cosine similarity between the feature vector of the test sample and the prototype of the predicted ID class at the penultimate layer and uses the similarity as an adaptive temperature factor on the logit to alleviate the network’s overconfidence prediction for OOD data. With these strategies, we can reduce feature activation of OOD data and enlarge the gap in OOD score between ID and OOD data. Extensive experiments on multiple standard OOD detection benchmarks demonstrate the effectiveness of our method and its compatibility with existing methods, with new state-of-the-art performance achieved from our method. The source code will be released publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google