When Source-Free Domain Adaptation Meets Learning with Noisy Labels

要約

最近の最先端のソースフリー ドメイン適応 (SFDA) メソッドは、特徴空間で意味のあるクラスター構造を学習することに重点を置いており、プライベート ソース データにアクセスすることなく、ソース ドメインからの知識をラベルのないターゲット ドメインに適応させることに成功しています。
ただし、既存の方法は、ソース モデルによって生成される疑似ラベルに依存しており、ドメイン シフトによりノイズが発生する可能性があります。
本稿では、SFDA をラベル ノイズ (LLN) による学習の観点から考察します。
従来の LLN シナリオのラベル ノイズとは異なり、SFDA のラベル ノイズが異なる分布仮定に従うことを証明します。
また、このような違いにより、分布の仮定に依存する既存の LLN メソッドが SFDA のラベル ノイズに対処できなくなることも証明します。
経験的証拠は、SFDA 問題を解決するために既存の LLN メソッドを適用した場合、わずかな改善しか達成できないことを示唆しています。
一方、2 つのシナリオのラベル ノイズには根本的な違いがありますが、従来のラベル ノイズ設定で以前に観察された早期トレーニング現象 (ETP) が、シナリオでも観察できることを理論的に示しています。
SFDA問題。
広範な実験により、ETP を活用して SFDA のラベル ノイズに対処することで、既存の SFDA アルゴリズムが大幅に改善されることが実証されています。

要約(オリジナル)

Recent state-of-the-art source-free domain adaptation (SFDA) methods have focused on learning meaningful cluster structures in the feature space, which have succeeded in adapting the knowledge from source domain to unlabeled target domain without accessing the private source data. However, existing methods rely on the pseudo-labels generated by source models that can be noisy due to domain shift. In this paper, we study SFDA from the perspective of learning with label noise (LLN). Unlike the label noise in the conventional LLN scenario, we prove that the label noise in SFDA follows a different distribution assumption. We also prove that such a difference makes existing LLN methods that rely on their distribution assumptions unable to address the label noise in SFDA. Empirical evidence suggests that only marginal improvements are achieved when applying the existing LLN methods to solve the SFDA problem. On the other hand, although there exists a fundamental difference between the label noise in the two scenarios, we demonstrate theoretically that the early-time training phenomenon (ETP), which has been previously observed in conventional label noise settings, can also be observed in the SFDA problem. Extensive experiments demonstrate significant improvements to existing SFDA algorithms by leveraging ETP to address the label noise in SFDA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google