Out-of-Distribution Detection using Neural Activation Prior

要約

分布外検出は、機械学習モデルを実世界に導入し、未知のシナリオに対応するために極めて重要な手法である。本論文では、分布外検出（OOD）のための、シンプルだが効果的なニューラル活性化事前分布（NAP）を提案する。我々の神経活性化事前分布は、完全に訓練されたニューラルネットワークのグローバルプーリング層の前にあるチャンネルにおいて、分布内（ID）サンプルによってその数個のニューロンが大きな応答で活性化される確率は、OODサンプルによって活性化される確率よりも有意に高いという重要な観察に基づいている。直感的な説明として、IDデータセットで完全に訓練されたモデルの各チャンネルは、IDデータセット内のサンプルで特定のパターンを検出する役割を果たし、入力サンプルでパターンが検出されると、少数のニューロンが大きな応答で活性化される可能性がある。したがって、OOD検出におけるこれらの強く活性化されたニューロンの役割を強調するために、この事前分布に基づく新しいスコアリング関数を提案する。このアプローチはプラグアンドプレイであり、分布内データ分類の性能劣化をもたらさず、訓練や外部データセットからの余分な訓練や統計量を必要としない。従来の方法は、主にニューラルネットワークのポストグローバルプーリングの特徴に依存しているが、我々が活用するチャンネル内分布情報は、グローバルプーリングオペレータによって破棄されることに注意されたい。その結果、我々の方法は既存のアプローチと直交しており、様々な応用において効果的に組み合わせることができる。実験の結果、本手法はCIFAR-10、CIFAR-100、ImageNetデータセットにおいて最先端の性能を達成し、提案する事前処理の威力を実証した。

要約(オリジナル)

Out-of-distribution detection is a crucial technique for deploying machine learning models in the real world to handle the unseen scenarios. In this paper, we propose a simple but effective Neural Activation Prior (NAP) for out-of-distribution detection (OOD). Our neural activation prior is based on a key observation that, for a channel before the global pooling layer of a fully trained neural network, the probability of a few of its neurons being activated with a larger response by an in-distribution (ID) sample is significantly higher than that by an OOD sample. An intuitive explanation is each channel in a model fully trained on ID dataset would play a role in detecting a certain pattern in the samples within the ID dataset, and a few neurons can be activated with a large response when the pattern is detected in an input sample. Thus, a new scoring function based on this prior is proposed to highlight the role of these strongly activated neurons in OOD detection. This approach is plug-and-play and does not lead to any performance degradation on in-distribution data classification and requires no extra training or statistics from training or external datasets. Notice that previous methods primarily rely on post-global-pooling features of the neural networks, while the within-channel distribution information we leverage would be discarded by the global pooling operator. Consequently, our method is orthogonal to existing approaches and can be effectively combined with them in various applications. Experimental results show that our method achieves the state-of-the-art performance on CIFAR-10, CIFAR-100 and ImageNet datasets, which demonstrates the power of the proposed prior.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL