Enhancing Domain Adaptation through Prompt Gradient Alignment

要約

従来の教師なしドメイン適応 (UDA) 手法は、多くの場合、ドメイン不変の特徴抽出器をトレーニングすることを目的としており、モデルが十分に識別できる特徴を学習するのを妨げる可能性があります。
これに取り組むために、プロンプト学習に基づいた一連の研究では、大規模な事前トレーニング済みビジョン言語モデルの力を利用して、ドメインに依存しない一連の学習可能なプロンプトを通じて、ドメイン不変の機能と特定の機能の両方を学習します。
これらの研究は通常、そのようなプロンプトを学習するために、表現、出力、またはプロンプト空間に不変の制約を課します。
別の方法として、UDA を複数の目的の最適化問題としてキャストし、各目的がドメイン損失で表されるようにします。
この新しいフレームワークの下で、目的ごとの勾配を調整して、それらの間の合意を促進することを提案します。
さらに、この深層学習アーキテクチャを微調整する際の潜在的な過剰適合を防ぐために、これらの勾配のノルムにペナルティを与えます。
これらの目標を達成するために、単一ソース UDA とマルチソース UDA の両方で機能する実用的な勾配更新手順を考案します。
経験的に、私たちの手法は、さまざまな UDA ベンチマークで他のプロンプトベースのベースラインを常に大幅に上回っています。

要約(オリジナル)

Prior Unsupervised Domain Adaptation (UDA) methods often aim to train a domain-invariant feature extractor, which may hinder the model from learning sufficiently discriminative features. To tackle this, a line of works based on prompt learning leverages the power of large-scale pre-trained vision-language models to learn both domain-invariant and specific features through a set of domain-agnostic and domain-specific learnable prompts. Those studies typically enforce invariant constraints on representation, output, or prompt space to learn such prompts. Differently, we cast UDA as a multiple-objective optimization problem in which each objective is represented by a domain loss. Under this new framework, we propose aligning per-objective gradients to foster consensus between them. Additionally, to prevent potential overfitting when fine-tuning this deep learning architecture, we penalize the norm of these gradients. To achieve these goals, we devise a practical gradient update procedure that can work under both single-source and multi-source UDA. Empirically, our method consistently surpasses other prompt-based baselines by a large margin on different UDA benchmarks

arxiv情報

提供元, 利用サービス

arxiv.jp, Google