Hard-aware Instance Adaptive Self-training for Unsupervised Cross-domain Semantic Segmentation

要約

ラベル付けされたトレーニング データとラベル付けされていないテスト データとの間の相違は、最近の深層学習モデルにとって大きな課題です。
教師なしドメイン適応 (UDA) は、このような問題を解決しようとします。
最近の研究では、セルフトレーニングが UDA への強力なアプローチであることが示されています。
ただし、既存の方法では、スケーラビリティとパフォーマンスのバランスをとることが困難です。
この論文では、セマンティックセグメンテーションのタスクに関するUDAのハードウェアインスタンス適応自己トレーニングフレームワークを提案します。
疑似ラベルの品質と多様性を効果的に改善するために、インスタンス適応セレクターを使用した新しい疑似ラベル生成戦略を開発します。
巧みに設計されたハード認識疑似ラベル拡張により、ハードクラス疑似ラベルを画像間情報でさらに強化します。
さらに、疑似ラベル領域を滑らかにし、非疑似ラベル領域を鋭くするために、領域適応正則化を提案します。
非擬似ラベル領域の場合、モデルの最適化中により強力な監視信号を導入するために、一貫性制約も構築されます。
このメソッドは非常に簡潔で効率的であるため、他の UDA メソッドに簡単に一般化できます。
GTA5 から Cityscapes へ、SYNTHIA から Cityscapes へ、Cityscapes から Oxford RobotCar への実験は、最先端の方法と比較して、私たちのアプローチの優れたパフォーマンスを示しています。

要約(オリジナル)

The divergence between labeled training data and unlabeled testing data is a significant challenge for recent deep learning models. Unsupervised domain adaptation (UDA) attempts to solve such problem. Recent works show that self-training is a powerful approach to UDA. However, existing methods have difficulty in balancing the scalability and performance. In this paper, we propose a hard-aware instance adaptive self-training framework for UDA on the task of semantic segmentation. To effectively improve the quality and diversity of pseudo-labels, we develop a novel pseudo-label generation strategy with an instance adaptive selector. We further enrich the hard class pseudo-labels with inter-image information through a skillfully designed hard-aware pseudo-label augmentation. Besides, we propose the region-adaptive regularization to smooth the pseudo-label region and sharpen the non-pseudo-label region. For the non-pseudo-label region, consistency constraint is also constructed to introduce stronger supervision signals during model optimization. Our method is so concise and efficient that it is easy to be generalized to other UDA methods. Experiments on GTA5 to Cityscapes, SYNTHIA to Cityscapes, and Cityscapes to Oxford RobotCar demonstrate the superior performance of our approach compared with the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google