Out-of-Distribution Detection using Neural Activation Prior

要約

分布外検出 (OOD) は、機械学習モデルを現実世界に展開して目に見えないシナリオに対処するための重要な手法です。
この論文では、まず、OOD 検出のためのシンプルかつ効果的な Neural Activation Prior (NAP) を提案します。
私たちのニューラル活性化事前評価は、完全にトレーニングされたニューラル ネットワークのグローバル プーリング層の前のチャネルでは、分布内 (ID) サンプルによる大きな応答で少数のニューロンが活性化される確率が大幅に高いという重要な観察に基づいています。
OOD サンプルよりも高い。
直感的に説明すると、ID データセットで完全にトレーニングされたモデルの場合、各チャネルが ID データセット内の特定のパターンを検出する役割を果たし、入力サンプルでパターンが検出されたときに、いくつかのニューロンが大きな応答で活性化される可能性があるということです。
。
次に、OOD 検出におけるこれらの強く活性化されたニューロンの役割を強調するために、この事前分布に基づく新しいスコア関数が提案されます。
私たちのアプローチはプラグアンドプレイであり、ID データ分類のパフォーマンス低下につながることはなく、トレーニングや外部データセットからの追加のトレーニングや統計も必要ありません。
以前の方法は主にニューラル ネットワークのグローバル プーリング後の機能に依存しており、利用するチャネル内分布情報はグローバル プーリング オペレーターによって破棄されることに注意してください。
したがって、私たちの方法は既存のアプローチと直交しており、さまざまなアプリケーションで既存のアプローチと効果的に組み合わせることができます。
実験結果は、私たちの方法が CIFAR ベンチマークと ImageNet データセットで最先端のパフォーマンスを達成することを示しており、提案された従来法の威力を実証しています。
最後に、我々の方法をトランスフォーマーに拡張しました。実験結果は、NAP がトランスフォーマーでの OOD 検出のパフォーマンスも大幅に強化できることを示しており、それによってこの事前知識の幅広い適用可能性が実証されています。

要約(オリジナル)

Out-of-distribution detection (OOD) is a crucial technique for deploying machine learning models in the real world to handle the unseen scenarios. In this paper, we first propose a simple yet effective Neural Activation Prior (NAP) for OOD detection. Our neural activation prior is based on a key observation that, for a channel before the global pooling layer of a fully trained neural network, the probability of a few neurons being activated with a large response by an in-distribution (ID) sample is significantly higher than that by an OOD sample. An intuitive explanation is that for a model fully trained on ID dataset, each channel would play a role in detecting a certain pattern in the ID dataset, and a few neurons can be activated with a large response when the pattern is detected in an input sample. Then, a new scoring function based on this prior is proposed to highlight the role of these strongly activated neurons in OOD detection. Our approach is plug-and-play and does not lead to any performance degradation on ID data classification and requires no extra training or statistics from training or external datasets. Notice that previous methods primarily rely on post-global-pooling features of the neural networks, while the within-channel distribution information we leverage would be discarded by the global pooling operator. Consequently, our method is orthogonal to existing approaches and can be effectively combined with them in various applications. Experimental results show that our method achieves the state-of-the-art performance on CIFAR benchmark and ImageNet dataset, which demonstrates the power of the proposed prior. Finally, we extend our method to Transformers and the experimental findings indicate that NAP can also significantly enhance the performance of OOD detection on Transformers, thereby demonstrating the broad applicability of this prior knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google