FlowCLAS: Enhancing Normalizing Flow Via Contrastive Learning For Anomaly Segmentation

要約

異常セグメンテーションは、予期せぬイベントを認識する必要がある安全性が重要なアプリケーションにとって貴重なコンピューター ビジョン タスクです。
現在の最先端 (SOTA) シーンレベルの異常セグメンテーション アプローチは、トレーニング中に多様なインライア クラス ラベルに依存しており、ラベルのない膨大なデータセットや事前トレーニングされたビジョン エンコーダーを活用する能力が制限されています。
これらのメソッドは、色の多様性が低下し、オブジェクト クラスが制限されているドメインではパフォーマンスが低下する可能性があります。
逆に、既存の教師なし手法は、あまり制限されていないドメインの多様なシーンでの異常セグメンテーションに苦労しています。
これらの課題に対処するために、ビジョン基盤モデルを利用して豊富な特徴を抽出し、正規化フロー ネットワークを採用して密度分布を学習する、新しい自己監視型フレームワークである FlowCLAS を紹介します。
潜在空間に外れ値露出と対照学習を組み込むことで、モデルの識別力を強化します。
FlowCLAS は、宇宙ロボット向けの ALLO 異常セグメンテーション ベンチマークで既存のすべての手法を大幅に上回っており、Fishyscapes Lost&Found や Road Anomaly など、自動運転向けの複数の道路異常セグメンテーション ベンチマークで競争力のある結果を示しています。
これらの結果は、インライア セグメンテーション ラベルに依存せずに自動運転領域で SOTA パフォーマンスを維持しながら、空間異常セグメンテーションの固有の課題に対処する FlowCLAS の有効性を強調しています。

要約(オリジナル)

Anomaly segmentation is a valuable computer vision task for safety-critical applications that need to be aware of unexpected events. Current state-of-the-art (SOTA) scene-level anomaly segmentation approaches rely on diverse inlier class labels during training, limiting their ability to leverage vast unlabeled datasets and pre-trained vision encoders. These methods may underperform in domains with reduced color diversity and limited object classes. Conversely, existing unsupervised methods struggle with anomaly segmentation with the diverse scenes of less restricted domains. To address these challenges, we introduce FlowCLAS, a novel self-supervised framework that utilizes vision foundation models to extract rich features and employs a normalizing flow network to learn their density distribution. We enhance the model’s discriminative power by incorporating Outlier Exposure and contrastive learning in the latent space. FlowCLAS significantly outperforms all existing methods on the ALLO anomaly segmentation benchmark for space robotics and demonstrates competitive results on multiple road anomaly segmentation benchmarks for autonomous driving, including Fishyscapes Lost&Found and Road Anomaly. These results highlight FlowCLAS’s effectiveness in addressing the unique challenges of space anomaly segmentation while retaining SOTA performance in the autonomous driving domain without reliance on inlier segmentation labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google