Placing Objects in Context via Inpainting for Out-of-distribution Segmentation

要約

セマンティック セグメンテーション モデルを現実世界に導入すると、トレーニング中には表示されなかったセマンティック クラスに必然的に直面することになります。
したがって、このようなシステムを安全に導入するには、その異常セグメンテーション機能を正確に評価し、改善することが重要です。
ただし、セマンティック セグメンテーション データの取得とラベル付けには費用がかかり、予期せぬ状況はロングテールで潜在的に危険です。
実際、既存の異常セグメンテーション データセットは、限られた数の異常を捕捉しており、現実性に欠けているか、ドメインのシフトが強いです。
このペーパーでは、拡散モデルを介して任意のオブジェクトを任意の画像に現実的に追加する、Placing Objects in Context (POC) パイプラインを提案します。
POC を使用すると、任意の数のオブジェクトを含むデータセットを簡単に拡張できます。
私たちの実験では、POC で生成されたデータに基づくさまざまな異常セグメンテーション データセットを提示し、POC がいくつかの標準化されたベンチマークにおける最新の異常微調整手法のパフォーマンスを向上できることを示します。
POCは新しい授業を学ぶのにも効果的です。
たとえば、これを使用して Pascal クラスのサブセットを追加して Cityscapes サンプルを編集し、そのようなデータでトレーニングされたモデルが Pascal でトレーニングされたベースラインと同等のパフォーマンスを達成することを示します。
これは、POC で生成された画像でトレーニングされたモデルのシミュレーションと実際のギャップが低いことを裏付けています。

要約(オリジナル)

When deploying a semantic segmentation model into the real world, it will inevitably be confronted with semantic classes unseen during training. Thus, to safely deploy such systems, it is crucial to accurately evaluate and improve their anomaly segmentation capabilities. However, acquiring and labelling semantic segmentation data is expensive and unanticipated conditions are long-tail and potentially hazardous. Indeed, existing anomaly segmentation datasets capture a limited number of anomalies, lack realism or have strong domain shifts. In this paper, we propose the Placing Objects in Context (POC) pipeline to realistically add any object into any image via diffusion models. POC can be used to easily extend any dataset with an arbitrary number of objects. In our experiments, we present different anomaly segmentation datasets based on POC-generated data and show that POC can improve the performance of recent state-of-the-art anomaly fine-tuning methods in several standardized benchmarks. POC is also effective to learn new classes. For example, we use it to edit Cityscapes samples by adding a subset of Pascal classes and show that models trained on such data achieve comparable performance to the Pascal-trained baseline. This corroborates the low sim-to-real gap of models trained on POC-generated images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google