Reliability in Semantic Segmentation: Can We Use Synthetic Data?

要約

共変量シフトに対する知覚モデルの堅牢性と、分布外 (OOD) 入力を検出する能力を評価することは、自動運転車などの安全性が重要なアプリケーションにとって重要です。
ただし、このようなアプリケーションの性質上、関連データを収集して注釈を付けることは困難です。
この論文では、セマンティック セグメンテーション モデルの実世界の信頼性を包括的に評価するために合成データを具体的に生成する方法を初めて示します。
ドメイン内データのみを使用して安定拡散を微調整することにより、OOD ドメインまたは OOD オブジェクトでペイントされたビジュアル シーンのゼロショット生成を実行します。
この合成データは、事前トレーニングされたセグメンターの堅牢性を評価するために使用され、それによって実際のエッジケースに直面したときのパフォーマンスに関する洞察が得られます。
広範な実験を通じて、合成 OOD データで評価した場合と実際の OOD 入力で評価した場合のモデルのパフォーマンスの間に高い相関関係があることを実証し、このような仮想テストの関連性を示しています。
さらに、私たちのアプローチを利用してセグメンターのキャリブレーションおよび OOD 検出機能を強化する方法を示します。
コードとデータは公開されています。

要約(オリジナル)

Assessing the robustness of perception models to covariate shifts and their ability to detect out-of-distribution (OOD) inputs is crucial for safety-critical applications such as autonomous vehicles. By nature of such applications, however, the relevant data is difficult to collect and annotate. In this paper, we show for the first time how synthetic data can be specifically generated to assess comprehensively the real-world reliability of semantic segmentation models. By fine-tuning Stable Diffusion with only in-domain data, we perform zero-shot generation of visual scenes in OOD domains or inpainted with OOD objects. This synthetic data is employed to evaluate the robustness of pretrained segmenters, thereby offering insights into their performance when confronted with real edge cases. Through extensive experiments, we demonstrate a high correlation between the performance of models when evaluated on our synthetic OOD data and when evaluated on real OOD inputs, showing the relevance of such virtual testing. Furthermore, we demonstrate how our approach can be utilized to enhance the calibration and OOD detection capabilities of segmenters. Code and data are made public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google