Simple High Quality OoD Detection with L2 Normalization

要約

私たちは、トレーニング段階での標準的な深層学習アーキテクチャへの簡単な変更 (特徴空間に対する L2 正規化) を提案します。これにより、比較的短いトレーニング時間で最先端の分布外 (OoD) 検出と競合する結果が得られます。
。
テスト時に L2 正規化が削除されると、特徴ベクトルの大きさが OoD 検出の驚くほど優れた測定値になります。
直観的には、In Distribution (ID) イメージは大きなベクトルを生成しますが、OoD イメージは大きさが小さいため、スクリーン OoD イメージの単純なしきい値スキームが可能になります。
この単純な変更がどのように機能するかについての理論的分析を提供します。
標準 ResNet18 では、わずか 60 エポックのトレーニングで競争力のある結果が得られます。

要約(オリジナル)

We propose a simple modification to standard deep learning architectures during their training phase–L2 normalization over feature space–that produces results competitive with state-of-the-art Out-of-Distribution (OoD) detection but with relatively little training time. When L2 normalization is removed at test time, magnitudes of feature vectors becomes a surprisingly good measurement for OoD detection. Intuitively, In Distribution (ID) images result in large vectors, while OoD images have small magnitudes, which permits a simple threshold scheme for screen OoD images. We provide a theoretical analysis of how this simple change works. Competitive results are possible in only 60 epochs of training on a standard ResNet18.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google