De-Confusing Pseudo-Labels in Source-Free Domain Adaptation

要約

ソースフリードメインアダプテーション（SFDA）は、ソースドメインから学習した知識を、ラベル付けされていないターゲットドメインに転送することを目的としている。SFDAのための既存のアプローチは、通常、確立されたエントロピー最小化と擬似ラベリング技術を含む自己学習に焦点を当てている。最近の研究では、Swin-Bのようなロバストな事前学習済みネットワークを用いて、生成されたターゲット擬似ラベルの品質を向上させる共学習戦略が提案されている。しかし、生成される擬似ラベルは元モデルに依存するため、ドメインシフトによるノイズが発生する可能性がある。本論文では、SFDAをラベルノイズ学習の観点から捉え、擬似ラベルの混同を解除する学習を行う。具体的には、擬似ラベルのノイズ遷移行列を学習することで、各クラスのラベルの乱れを捉え、その下にある真のラベル分布を学習する。ノイズ遷移行列を推定することで、より良い予測精度で、より良い真のクラス-事後推定結果を得ることができる。本アプローチをいくつかのSFDA手法に適用し、その有効性を実証する：SHOT、SHOT++、AaDである。我々は3つのドメイン適応データセットで最先端の結果を得た：VisDA、DomainNet、OfficeHomeである。

要約(オリジナル)

Source-free domain adaptation (SFDA) aims to transfer knowledge learned from a source domain to an unlabeled target domain, where the source data is unavailable during adaptation. Existing approaches for SFDA focus on self-training usually including well-established entropy minimization and pseudo-labeling techniques. Recent work suggested a co-learning strategy to improve the quality of the generated target pseudo-labels using robust pretrained networks such as Swin-B. However, since the generated pseudo-labels depend on the source model, they may be noisy due to domain shift. In this paper, we view SFDA from the perspective of label noise learning and learn to de-confuse the pseudo-labels. More specifically, we learn a noise transition matrix of the pseudo-labels to capture the label corruption of each class and learn the underlying true label distribution. Estimating the noise transition matrix enables a better true class-posterior estimation results with better prediction accuracy. We demonstrate the effectiveness of our approach applied with several SFDA methods: SHOT, SHOT++, and AaD. We obtain state-of-the-art results on three domain adaptation datasets: VisDA, DomainNet, and OfficeHome.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL