Co-Training for Unsupervised Domain Adaptation of Semantic Segmentation Models

要約

セマンティック画像のセグメンテーションは、自動運転の中心的で挑戦的なタスクであり、深いモデルのトレーニングによって対処されます。
このトレーニングは人間ベースの画像ラベリングの呪いにつながるため、ラベル付けされていない実世界の画像と一緒に自動生成されたラベルを持つ合成画像を使用することは有望な代替手段です。
これは、教師なしドメイン適応（UDA）の問題に対処することを意味します。
この論文では、セマンティックセグメンテーションモデルのシンセからリアルへのUDAのための新しい共同トレーニング手順を提案します。
これは、2つのドメイン適応モデルを提供する自己トレーニングステージと、これら2つのモデルの相互改善のためのモデルコラボレーションループで構成されています。
次に、これらのモデルを使用して、実世界の画像の最終的なセマンティックセグメンテーションラベル（疑似ラベル）を提供します。
全体的な手順では、ディープモデルをブラックボックスとして扱い、疑似ラベル付けされたターゲット画像のレベルでコラボレーションを推進します。つまり、損失関数の変更も明示的な特徴の調整も必要ありません。
オンボードセマンティックセグメンテーションの標準的な合成データセットと実世界のデータセットで提案をテストします。
私たちの手順では、ベースラインを超えて約13〜約26 mIoUポイントの改善が見られるため、新しい最先端の結果が確立されます。

要約(オリジナル)

Semantic image segmentation is a central and challenging task in autonomous driving, addressed by training deep models. Since this training draws to a curse of human-based image labeling, using synthetic images with automatically generated labels together with unlabeled real-world images is a promising alternative. This implies to address an unsupervised domain adaptation (UDA) problem. In this paper, we propose a new co-training procedure for synth-to-real UDA of semantic segmentation models. It consists of a self-training stage, which provides two domain-adapted models, and a model collaboration loop for the mutual improvement of these two models. These models are then used to provide the final semantic segmentation labels (pseudo-labels) for the real-world images. The overall procedure treats the deep models as black boxes and drives their collaboration at the level of pseudo-labeled target images, i.e., neither modifying loss functions is required, nor explicit feature alignment. We test our proposal on standard synthetic and real-world datasets for on-board semantic segmentation. Our procedure shows improvements ranging from ~13 to ~26 mIoU points over baselines, so establishing new state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google