SAFE: Sensitivity-Aware Features for Out-of-Distribution Object Detection

要約

特徴量に基づく分布外（OOD）検出器は、最近、画像分類の設定の下で大きな注目を集めている。しかし、物体検出の設定では、特徴空間の特性に対する理解が不十分なため、これらの研究の実用性は限定的である。我々のアプローチであるSAFE (Sensitivity-Aware FEatures) は、残差ネットワークの生来の感度を利用して、OODサンプルを検出するものである。我々の手法の鍵は、画像分類の基礎理論に基づき、ショートカット畳み込み層とそれに続くバッチ正規化がOODサンプルを検出する上でユニークに強力であることを明らかにすることである。SAFEは、3層の多層パーセプトロン（MLP）を訓練することにより、現実的なOOD訓練データ、高価な生成モデル、基本オブジェクト検出器の再訓練の必要性を回避し、ノイズパーターベーションされたオブジェクトとクリーンな分布内オブジェクト検出を識別するという代替タスクにおいて、識別された最も敏感な層からの連結特徴のみを使用しています。このMLPは、OpenImagesデータセットにおいて、FPR95を48.3%から18.4%に30%削減するなど、複数のベンチマークで最先端を達成し、従来のアプローチよりも確実にOODオブジェクト検出を識別できることを示している。我々は、我々の主張に対して経験的証拠を提供し、ネットワークの残りの部分と比較して、識別された重要な層のサブセットがOODサンプルの検出において不均衡に強力であることを実証する。

要約(オリジナル)

Feature-based out-of-distribution (OOD) detectors have received significant attention under the image classification setting lately. However, the practicality of these works in the object detection setting is limited due to the current lack of understanding of the characteristics of the feature space in this setting. Our approach, SAFE (Sensitivity-Aware FEatures), leverages the innate sensitivity of residual networks to detect OOD samples. Key to our method, we build on foundational theory from image classification to identify that shortcut convolutional layers followed immediately by batch normalisation are uniquely powerful at detecting OOD samples. SAFE circumvents the need for realistic OOD training data, expensive generative models and retraining of the base object detector by training a 3-layer multilayer perceptron (MLP) on the surrogate task of distinguishing noise-perturbed and clean in-distribution object detections, using only the concatenated features from the identified most sensitive layers. We show that this MLP can identify OOD object detections more reliably than previous approaches, achieving a new state-of-the-art on multiple benchmarks, e.g. reducing the FPR95 by an absolute 30\% from 48.3\% to 18.4\% on the OpenImages dataset. We provide empirical evidence for our claims through our ablations, demonstrating that the identified critical subset of layers is disproportionately powerful at detecting OOD samples in comparison to the rest of the network.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL