Co-Training for Unsupervised Domain Adaptation of Semantic Segmentation Models

要約

セマンティック画像のセグメンテーションは、深いモデルをトレーニングすることで対処されます。
教師ありトレーニングは人間ベースの画像ラベリングの呪いにつながるため、ラベル付けされていない実世界の画像と一緒に自動生成されたグラウンドトゥルースを備えた合成画像を使用することは有望な代替手段です。
これは、教師なしドメイン適応（UDA）の問題に対処することを意味します。
この論文では、セマンティックセグメンテーションモデルのシンセからリアルへのUDAのための新しい共同トレーニングプロセスを提案しました。
まず、2つの初期モデルを提供する自己トレーニング手順を設計します。
次に、最終モデルを取得するために、これらのモデルを共同でトレーニングし続けます。
全体的なプロセスでは、ディープモデルをブラックボックスとして扱い、疑似ラベル付けされたターゲット画像のレベルでコラボレーションを推進します。つまり、損失関数の変更も明示的な特徴の調整も必要ありません。
標準の合成データセットと実際のデータセットで提案をテストします。
私たちの共同トレーニングでは、ベースラインよりも15〜20パーセントポイントのmIoUが改善されていることが示されているため、新しい最先端の結果が確立されています。

要約(オリジナル)

Semantic image segmentation is addressed by training deep models. Since supervised training draws to a curse of human-based image labeling, using synthetic images with automatically generated ground truth together with unlabeled real-world images is a promising alternative. This implies to address an unsupervised domain adaptation (UDA) problem. In this paper, we proposed a new co-training process for synth-to-real UDA of semantic segmentation models. First, we design a self-training procedure which provides two initial models. Then, we keep training these models in a collaborative manner for obtaining the final model. The overall process treats the deep models as black boxes and drives their collaboration at the level of pseudo-labeled target images, i.e., neither modifying loss functions is required, nor explicit feature alignment. We test our proposal on standard synthetic and real-world datasets. Our co-training shows improvements of 15-20 percentage points of mIoU over baselines, so establishing new state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google