Reliability in Semantic Segmentation: Can We Use Synthetic Data?

要約

共変量シフトや分布外 (OOD) 検出に対する知覚モデルの信頼性を評価することは、自動運転車などの安全性が重要なアプリケーションにとって非常に重要です。
ただし、タスクの性質上、関連データを収集して注釈を付けることは困難です。
この論文では、セマンティック セグメンテーションの信頼性を評価するためのデータを自動的に合成する最先端の生成モデルに挑戦します。
安定拡散を微調整することで、OOD ドメインまたは OOD オブジェクトでペイントされた合成データのゼロショット生成を実行します。
合成データは、事前トレーニングされたセグメンターの初期評価を提供するために使用され、それによって実際のエッジケースに直面したときのパフォーマンスに関する洞察を提供します。
広範な実験を通じて、合成データのパフォーマンスと実際の OOD データのパフォーマンスの間に高い相関関係があることを実証し、妥当性アプローチを示しました。
さらに、合成データを利用してセグメンターのキャリブレーションおよび OOD 検出機能を強化する方法を説明します。

要約(オリジナル)

Assessing the reliability of perception models to covariate shifts and out-of-distribution (OOD) detection is crucial for safety-critical applications such as autonomous vehicles. By nature of the task, however, the relevant data is difficult to collect and annotate. In this paper, we challenge cutting-edge generative models to automatically synthesize data for assessing reliability in semantic segmentation. By fine-tuning Stable Diffusion, we perform zero-shot generation of synthetic data in OOD domains or inpainted with OOD objects. Synthetic data is employed to provide an initial assessment of pretrained segmenters, thereby offering insights into their performance when confronted with real edge cases. Through extensive experiments, we demonstrate a high correlation between the performance on synthetic data and the performance on real OOD data, showing the validity approach. Furthermore, we illustrate how synthetic data can be utilized to enhance the calibration and OOD detection capabilities of segmenters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google