A Curriculum-style Self-training Approach for Source-Free Semantic Segmentation

要約

ソースフリーのドメイン適応は近年急速に発展しており、十分にトレーニングされたソース モデルがソース データではなくターゲット ドメインに適応されるため、プライバシーの問題や知的財産保護が生じる可能性があります。
ただし、従来のドメイン適応方法における多くの特徴調整手法は、この困難な問題設定では実現できません。
そこで、私たちは固有のドメイン不変特徴学習を精査し、ソースフリーのドメイン適応型セマンティック セグメンテーションのためのカリキュラム スタイルの自己トレーニング アプローチを提案します。
特に、ソース モデルから暗黙の知識を探索するカリキュラム スタイルのエントロピー最小化手法を導入します。これは、簡単な予測から困難な予測からの特定の情報を使用して、トレーニングされたソース モデルをターゲット データに適合させます。
次に、提案された補完的なカリキュラム スタイルの自己トレーニングによってセグメンテーション ネットワークをトレーニングします。これは、カリキュラム学習方法に従ってネガティブおよびポジティブの擬似ラベルを利用します。
不確実性が高い負の擬似ラベルは正しいラベルで識別できませんが、存在しないクラスを示す可能性はあります。
さらに、ターゲット ドメイン内のドメイン内不一致をさらに削減するために、情報伝播スキームを採用します。これは、ドメイン アダプテーション フィールドの標準的な後処理方法として機能します。
さらに、提案された方法を、ソース モデルの予測のみが利用できる、より困難なブラック ボックス ソース モデル シナリオに拡張します。
広範な実験により、私たちの方法が合成データセットから現実データセットと悪条件データセットの両方に対してソースフリーのセマンティック セグメンテーション タスクで最先端のパフォーマンスをもたらすことが検証されています。
コードと対応するトレーニング済みモデルは \url{https://github.com/yxiwang/ATP} でリリースされます。

要約(オリジナル)

Source-free domain adaptation has developed rapidly in recent years, where the well-trained source model is adapted to the target domain instead of the source data, offering the potential for privacy concerns and intellectual property protection. However, a number of feature alignment techniques in prior domain adaptation methods are not feasible in this challenging problem setting. Thereby, we resort to probing inherent domain-invariant feature learning and propose a curriculum-style self-training approach for source-free domain adaptive semantic segmentation. In particular, we introduce a curriculum-style entropy minimization method to explore the implicit knowledge from the source model, which fits the trained source model to the target data using certain information from easy-to-hard predictions. We then train the segmentation network by the proposed complementary curriculum-style self-training, which utilizes the negative and positive pseudo labels following the curriculum-learning manner. Although negative pseudo-labels with high uncertainty cannot be identified with the correct labels, they can definitely indicate absent classes. Moreover, we employ an information propagation scheme to further reduce the intra-domain discrepancy within the target domain, which could act as a standard post-processing method for the domain adaptation field. Furthermore, we extend the proposed method to a more challenging black-box source model scenario where only the source model’s predictions are available. Extensive experiments validate that our method yields state-of-the-art performance on source-free semantic segmentation tasks for both synthetic-to-real and adverse conditions datasets. The code and corresponding trained models are released at \url{https://github.com/yxiwang/ATP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google