Urban Scene Semantic Segmentation with Low-Cost Coarse Annotation

要約

最高のパフォーマンスを得るために、今日のセマンティック セグメンテーション方法は、大規模で慎重にラベル付けされたデータセットを使用するため、高額なアノテーション予算が必要になります。
この作業では、粗いアノテーションが低コストですが、セマンティック セグメンテーション モデルをトレーニングするための非常に効果的な代替手段であることを示します。
都市シーンのセグメンテーション シナリオを考慮して、現実世界でキャプチャされたデータに安価な粗いアノテーションと合成データを活用してモデルをトレーニングし、細かくアノテーションされた現実世界のデータと比較して競争力のあるパフォーマンスを示します。
具体的には、粗いアノテーションが付けられたデータのラベル付けされていない領域の疑似ラベルを生成し、合成データを使用してセマンティック クラス間の境界周辺の予測を改善し、クロスドメイン データ拡張を使用して多様性を高める、粗いものから細かいものへの自己トレーニング フレームワークを提案します。
.
Cityscapes と BDD100k データセットに関する広範な実験結果は、私たちの方法がアノテーション コストのトレードオフに対して大幅に優れたパフォーマンスを達成し、アノテーション バジェットのほんの一部で完全にアノテーションが付けられたデータに匹敵するパフォーマンスをもたらすことを示しています。
また、事前トレーニングとして使用すると、標準の完全に監視された設定と比較して、フレームワークのパフォーマンスが向上します。

要約(オリジナル)

For best performance, today’s semantic segmentation methods use large and carefully labeled datasets, requiring expensive annotation budgets. In this work, we show that coarse annotation is a low-cost but highly effective alternative for training semantic segmentation models. Considering the urban scene segmentation scenario, we leverage cheap coarse annotations for real-world captured data, as well as synthetic data to train our model and show competitive performance compared with finely annotated real-world data. Specifically, we propose a coarse-to-fine self-training framework that generates pseudo labels for unlabeled regions of the coarsely annotated data, using synthetic data to improve predictions around the boundaries between semantic classes, and using cross-domain data augmentation to increase diversity. Our extensive experimental results on Cityscapes and BDD100k datasets demonstrate that our method achieves a significantly better performance vs annotation cost tradeoff, yielding a comparable performance to fully annotated data with only a small fraction of the annotation budget. Also, when used as pretraining, our framework performs better compared to the standard fully supervised setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google