Incorporating Pre-training Data Matters in Unsupervised Domain Adaptation

要約

ディープラーニングでは、事前に訓練された重量を持つ初期化モデルが、さまざまなダウンストリームタスクの事実上の実践となっています。
多くの監視されていないドメイン適応（UDA）メソッドは、通常、Imagenetで事前に訓練されたバックボーンを採用し、ソースターゲットドメインの不一致を減らすことに焦点を当てています。
しかし、適応前のトレーニングの影響はほとんど注目されませんでした。
この研究では、トレーニング前の斬新な観点からUDAを掘り下げます。
最初に、適応中にトレーニング前のデータドメインとソース/ターゲットドメインとの間の動的な分布の不一致を分析することにより、事前トレーニングの影響を実証します。
次に、ターゲットエラーが次の2つの要因でトレーニング前に生じることを明らかにします。1）経験的に、ターゲットエラーは、適応中の徐々に変性事前訓練の知識から生じます。
2）理論的には、エラーバウンドは、ターゲットドメインとトレーニング前のデータドメイン上の損失関数の勾配の差に依存します。
これらの2つの問題に対処するために、UDAを3ドメインの問題、\ IE、ソースドメイン、ターゲットドメイン、およびトレーニング前のデータドメインとして再定義します。
次に、Tridaという名前の新しいフレームワークを提案します。
事前に訓練された知識を維持し、トレーニング前のデータをバニラUDAとソースフリーのUDAシナリオの両方の適応に組み込むことにより、エラーを改善します。
効率のために、トレーニング前のデータの選択戦略を導入し、適応中に事前トレーニングデータが利用できない場合に合成画像を使用したソリューションを提供します。
特に、TRIDAは、少量の事前トレーニングまたは合成された画像でも効果的であり、2つのシナリオUDAメソッドをシームレスに補完し、複数のベンチマークにわたって最先端のパフォーマンスを実証しています。
私たちの仕事が、ドメイン適応のより良い理解と応用のための新しい洞察を提供することを願っています。

要約(オリジナル)

In deep learning, initializing models with pre-trained weights has become the de facto practice for various downstream tasks. Many unsupervised domain adaptation (UDA) methods typically adopt a backbone pre-trained on ImageNet, and focus on reducing the source-target domain discrepancy. However, the impact of pre-training on adaptation received little attention. In this study, we delve into UDA from the novel perspective of pre-training. We first demonstrate the impact of pre-training by analyzing the dynamic distribution discrepancies between pre-training data domain and the source/ target domain during adaptation. Then, we reveal that the target error also stems from the pre-training in the following two factors: 1) empirically, target error arises from the gradually degenerative pre-trained knowledge during adaptation; 2) theoretically, the error bound depends on difference between the gradient of loss function, \ie, on the target domain and pre-training data domain. To address these two issues, we redefine UDA as a three-domain problem, \ie, source domain, target domain, and pre-training data domain; then we propose a novel framework, named TriDA. We maintain the pre-trained knowledge and improve the error bound by incorporating pre-training data into adaptation for both vanilla UDA and source-free UDA scenarios. For efficiency, we introduce a selection strategy for pre-training data, and offer a solution with synthesized images when pre-training data is unavailable during adaptation. Notably, TriDA is effective even with a small amount of pre-training or synthesized images, and seamlessly complements the two scenario UDA methods, demonstrating state-of-the-art performance across multiple benchmarks. We hope our work provides new insights for better understanding and application of domain adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google