Block Selection Method for Using Feature Norm in Out-of-distribution Detection

要約

推論段階で分布外（OOD）入力を検出することは、ニューラルネットワークを実世界に展開する上で非常に重要である。これまでの手法では、高活性化した特徴マップから得られるネットワークの出力に依存するのが一般的であった。本研究では、まず、最後のブロックよりも他のブロックから得られる特徴マップのノルムが、OOD検出のより良い指標となり得ることを明らかにした。このことを動機として、各ブロックのOOD検出性能を測定するために、FeatureNorm：特徴マップのノルム、NormRatio：IDおよびOODに対する特徴ノルムの比からなる簡単な枠組みを提案する。具体的には、IDのFeatureNormとOODのFeatureNormの差が最も大きいブロックを選択するために、IDの学習サンプルから疑似OODとしてジグソーパズル画像を作成し、NormRatioを計算し、その値が最も大きなブロックを選択する。適切なブロックが選択された後、FeatureNormを用いたOOD検出は、CIFAR10ベンチマークでFPR95を最大52.77%、ImageNetベンチマークで最大48.53%削減し、他のOOD検出手法より優れた性能を発揮する。我々のフレームワークは様々なアーキテクチャに一般化できること、ブロック選択の重要性を示すことで、これまでのOOD検出手法も改善できることを示す。

要約(オリジナル)

Detecting out-of-distribution (OOD) inputs during the inference stage is crucial for deploying neural networks in the real world. Previous methods commonly relied on the output of a network derived from the highly activated feature map. In this study, we first revealed that a norm of the feature map obtained from the other block than the last block can be a better indicator of OOD detection. Motivated by this, we propose a simple framework consisting of FeatureNorm: a norm of the feature map and NormRatio: a ratio of FeatureNorm for ID and OOD to measure the OOD detection performance of each block. In particular, to select the block that provides the largest difference between FeatureNorm of ID and FeatureNorm of OOD, we create Jigsaw puzzle images as pseudo OOD from ID training samples and calculate NormRatio, and the block with the largest value is selected. After the suitable block is selected, OOD detection with the FeatureNorm outperforms other OOD detection methods by reducing FPR95 by up to 52.77% on CIFAR10 benchmark and by up to 48.53% on ImageNet benchmark. We demonstrate that our framework can generalize to various architectures and the importance of block selection, which can improve previous OOD detection methods as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL