Towards Open-World Object-based Anomaly Detection via Self-Supervised Outlier Synthesis

要約

物体検出は、コンピュータ ビジョンにおける極めて重要なタスクであり、ここ数年で大きな注目を集めてきました。
それにもかかわらず、トレーニング分布からオブジェクトの位置を特定する検出器の機能はまだ解明されていません。
オブジェクトレベルの分布外 (OoD) 検出における最近のアプローチはクラス ラベルに大きく依存していますが、そのようなアプローチはクラスの分布が不明な場合が多い真のオープンワールド シナリオと矛盾します。
この文脈において、異常検出は、検出を OoD として分類するのではなく、目に見えないインスタンスの検出に焦点を当てます。
この研究は、仮想外れ値合成によるオープンワールド オブジェクト検出器と OoD 検出器を活用することで、このギャップを埋めることを目的としています。
これは、検出器バックボーン機能を使用して、最初に自己監視を通じてオブジェクト擬似クラスを学習することで実現されます。
これらの疑似クラスは、OoD ヘッドによって分類される異常な特徴のクラス条件付き仮想外れ値サンプリングの基礎として機能します。
私たちのアプローチにより、オブジェクト検出器アーキテクチャ全体がクラス ラベルに依存せずに異常を認識する特徴表現を学習できるようになり、真にオープンワールドのオブジェクト異常検出が可能になります。
私たちのアプローチの経験的検証により、さまざまな画像モダリティ (可視、赤外線、X 線) を含む多様なデータセットにわたってその有効性が実証されました。
さらに、私たちの方法は物体レベルの異常検出で最先端のパフォーマンスを確立し、現在のアプローチと比較して、自然画像で 5.4% 以上、セキュリティ X 線データセットで 23.5% 以上の平均再現率スコアの向上を達成しました。
さらに、私たちの方法は、現在のアプローチが失敗するデータセット内の異常を検出します。
コードは https://github.com/KostadinovShalon/oln-ssos で入手できます。

要約(オリジナル)

Object detection is a pivotal task in computer vision that has received significant attention in previous years. Nonetheless, the capability of a detector to localise objects out of the training distribution remains unexplored. Whilst recent approaches in object-level out-of-distribution (OoD) detection heavily rely on class labels, such approaches contradict truly open-world scenarios where the class distribution is often unknown. In this context, anomaly detection focuses on detecting unseen instances rather than classifying detections as OoD. This work aims to bridge this gap by leveraging an open-world object detector and an OoD detector via virtual outlier synthesis. This is achieved by using the detector backbone features to first learn object pseudo-classes via self-supervision. These pseudo-classes serve as the basis for class-conditional virtual outlier sampling of anomalous features that are classified by an OoD head. Our approach empowers our overall object detector architecture to learn anomaly-aware feature representations without relying on class labels, hence enabling truly open-world object anomaly detection. Empirical validation of our approach demonstrates its effectiveness across diverse datasets encompassing various imaging modalities (visible, infrared, and X-ray). Moreover, our method establishes state-of-the-art performance on object-level anomaly detection, achieving an average recall score improvement of over 5.4% for natural images and 23.5% for a security X-ray dataset compared to the current approaches. In addition, our method detects anomalies in datasets where current approaches fail. Code available at https://github.com/KostadinovShalon/oln-ssos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google