SAFE: Sensitivity-Aware Features for Out-of-Distribution Object Detection

要約

特徴ベースの分布外 (OOD) 検出器は、最近、画像分類の設定で大きな注目を集めています。
ただし、オブジェクト検出の設定でのこれらの作業の実用性は、この設定での特徴空間の特性の理解が現在不足しているため、制限されています。
私たちのアプローチである SAFE (Sensitivity-Aware FEatures) は、残留ネットワークの固有の感度を活用して OOD サンプルを検出します。
私たちの方法の鍵となるのは、画像分類からの基礎理論に基づいて構築し、すぐにバッチ正規化が続くショートカット畳み込み層が、OOD サンプルの検出において独自に強力であることを特定することです。
SAFE は、現実的な OOD トレーニング データ、高価な生成モデル、ベース オブジェクト検出器の再トレーニングの必要性を回避します。
特定された最も敏感なレイヤーから連結されたフィーチャ。
この MLP が以前のアプローチよりも確実に OOD オブジェクト検出を識別できることを示し、複数のベンチマークで新しい最先端技術を達成します。
OpenImages データセットで FPR95 を 48.3% から 18.4% に絶対 30% 削減します。
私たちはアブレーションを通じて主張の経験的証拠を提供し、ネットワークの残りの部分と比較して、識別されたレイヤーの重要なサブセットが OOD サンプルの検出において不釣り合いに強力であることを示しています。

要約(オリジナル)

Feature-based out-of-distribution (OOD) detectors have received significant attention under the image classification setting lately. However, the practicality of these works in the object detection setting is limited due to the current lack of understanding of the characteristics of the feature space in this setting. Our approach, SAFE (Sensitivity-Aware FEatures), leverages the innate sensitivity of residual networks to detect OOD samples. Key to our method, we build on foundational theory from image classification to identify that shortcut convolutional layers followed immediately by batch normalisation are uniquely powerful at detecting OOD samples. SAFE circumvents the need for realistic OOD training data, expensive generative models and retraining of the base object detector by training a 3-layer multilayer perceptron (MLP) on the surrogate task of distinguishing noise-perturbed and clean in-distribution object detections, using only the concatenated features from the identified most sensitive layers. We show that this MLP can identify OOD object detections more reliably than previous approaches, achieving a new state-of-the-art on multiple benchmarks, e.g. reducing the FPR95 by an absolute 30% from 48.3% to 18.4% on the OpenImages dataset. We provide empirical evidence for our claims through our ablations, demonstrating that the identified critical subset of layers is disproportionately powerful at detecting OOD samples in comparison to the rest of the network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google