Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation

要約

マルチソースの教師なしドメイン適応 (UDA) の既存の方法のほとんどは、共通のエンコーダーに依存してドメ​​イン不変の特徴を抽出します。
ただし、このようなエンコーダーを学習するには、ネットワーク全体のパラメーターを更新する必要があるため、特に最小最大目標と組み合わせると、最適化が困難になり、計算コストが高くなります。
大容量モデルをダウンストリーム タスクに計算効率の良い方法で適応させるプロンプト ラーニングの最近の進歩に触発されて、マルチソース UDA のためのシンプルかつ効率的な 2 段階フレームワークである Multi-Prompt Alignment (MPA) を導入します。
ソース ドメインとターゲット ドメインのペアが与えられると、MPA は最初に個々のプロンプトをトレーニングして、対照的な損失によってドメイン ギャップを最小限に抑えます。
次に、MPA は、学習した複数のプロンプトの一致を最大化する自動エンコード プロセスを通じて、低次元の潜在空間を導き出します。
結果として得られる埋め込みは、目に見えないドメインへの一般化をさらに促進し、MPA をテスト時間の適応に適したものにします。
広範な実験により、私たちの方法は、一般的なデータセットで最先端の結果を達成しながら、必要な調整可能なパラメーターが大幅に少ないことが示されています。
具体的には、最も困難な UDA データセットである DomainNet で、MPA は 1,590 万個のパラメーターのみをトレーニングして、報告された最高の平均精度 54.1% を達成しました。

要約(オリジナル)

Most existing methods for multi-source unsupervised domain adaptation (UDA) rely on a common encoder to extract domain-invariant features. However, learning such an encoder involves updating the parameters of the entire network, which makes the optimization difficult and computationally expensive, particularly when coupled with min-max objectives. Inspired by recent advances in prompt learning that adapts high-capacity models for downstream tasks in a computationally economic way, we introduce Multi-Prompt Alignment (MPA), a simple yet efficient two-stage framework for multi-source UDA. Given a source and target domain pair, MPA first trains an individual prompt to minimize the domain gap through a contrastive loss. Then, MPA derives a low-dimensional latent space through an auto-encoding process that maximizes the agreement of multiple learned prompts. The resulting embeddings further facilitate generalization to unseen domains, making MPA suitable for test time adaptation. Extensive experiments show that our method achieves state-of-the-art results on popular datasets while requiring substantially fewer tunable parameters. Specifically on DomainNet, the most challenging UDA dataset, MPA achieves the highest reported average accuracy of 54.1% with only 15.9M parameters trained.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google