Adversarial Semi-Supervised Domain Adaptation for Semantic Segmentation: A New Role for Labeled Target Samples

要約

セマンティック セグメンテーションのコンテキストにおけるドメイン アダプテーション (DA) アプローチの敵対的学習ベースラインは、半教師ありフレームワークで研究中です。
これらのベースラインには、監視損失に含まれる利用可能なラベル付きターゲット サンプルのみが含まれます。
この研究では、セマンティック セグメンテーションと単一ドメイン分類子ニューラル ネットワークの両方での有用性を高めることを提案します。
ラベル付きターゲット データがソース サンプルまたは実際のターゲット サンプルとして動作する場合の新しいトレーニング目標損失を設計します。
根底にある理論的根拠は、ラベル付けされたターゲット サンプルのセットをソース ドメインの一部として考慮すると、ドメインの不一致を減らすのに役立ち、その結果、敵対的損失の寄与が改善されるということです。
私たちのアプローチをサポートするために、ソース データとラベル付きターゲット データを混合し、同じ適応プロセスを適用する補完的な方法を検討します。
さらに、適応のためのラベル付きターゲットサンプルの選択を最適化するために、エントロピーを使用した教師なし選択手順を提案します。
GTA5、SYNTHIA、Cityscapes のベンチマークに関する広範な実験を通じて、その結果を説明します。
実証的評価により、私たちが提案するアプローチの競争力のあるパフォーマンスが強調されます。

要約(オリジナル)

Adversarial learning baselines for domain adaptation (DA) approaches in the context of semantic segmentation are under explored in semi-supervised framework. These baselines involve solely the available labeled target samples in the supervision loss. In this work, we propose to enhance their usefulness on both semantic segmentation and the single domain classifier neural networks. We design new training objective losses for cases when labeled target data behave as source samples or as real target samples. The underlying rationale is that considering the set of labeled target samples as part of source domain helps reducing the domain discrepancy and, hence, improves the contribution of the adversarial loss. To support our approach, we consider a complementary method that mixes source and labeled target data, then applies the same adaptation process. We further propose an unsupervised selection procedure using entropy to optimize the choice of labeled target samples for adaptation. We illustrate our findings through extensive experiments on the benchmarks GTA5, SYNTHIA, and Cityscapes. The empirical evaluation highlights competitive performance of our proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google