Cooperative Self-Training for Multi-Target Adaptive Semantic Segmentation

要約

本研究では、セマンティックセグメンテーションにおけるマルチターゲットドメイン適応(MTDA)に取り組む。これは、注釈付きソースデータセットから、その基礎データ分布が異なる複数の注釈なしターゲットデータセットに単一のモデルを適応させることからなる。MTDAに対処するため、我々は、複数のドメイン固有分類器間の協調を誘発するために擬似ラベルを用いる自己学習戦略を提案する。我々は、自己学習の不可欠な部分を形成する画像ビューを生成する効率的な方法として、特徴量の定型化を採用する。さらに、ネットワークがノイズの多い擬似ラベルに過剰適合するのを防ぐため、異なる分類器からの予測を利用して擬似ラベルの品質を推定する整流戦略を考案する。4つの異なる意味分割データセットに基づく多数の実験により、提案する自己学習戦略の有効性を検証し、我々の手法が最新のMTDAアプローチを凌駕することを示す。コードは https://github.com/Mael-zys/CoaST で公開されている。

要約(オリジナル)

In this work we address multi-target domain adaptation (MTDA) in semantic segmentation, which consists in adapting a single model from an annotated source dataset to multiple unannotated target datasets that differ in their underlying data distributions. To address MTDA, we propose a self-training strategy that employs pseudo-labels to induce cooperation among multiple domain-specific classifiers. We employ feature stylization as an efficient way to generate image views that forms an integral part of self-training. Additionally, to prevent the network from overfitting to noisy pseudo-labels, we devise a rectification strategy that leverages the predictions from different classifiers to estimate the quality of pseudo-labels. Our extensive experiments on numerous settings, based on four different semantic segmentation datasets, validate the effectiveness of the proposed self-training strategy and show that our method outperforms state-of-the-art MTDA approaches. Code available at: https://github.com/Mael-zys/CoaST

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL