Unified Language-driven Zero-shot Domain Adaptation

要約

このペーパーでは、統一言語主導のゼロショット ドメイン アダプテーション (ULDA) を紹介します。これは、明示的なドメイン ID の知識がなくても、単一のモデルが多様なターゲット ドメインに適応できるようにする新しいタスク設定です。
既存の言語主導のゼロショット ドメイン適応タスクにおける制約、特に柔軟性とスケーラビリティを制限する可能性があるドメイン ID とドメイン固有モデルの要件を特定します。
これらの問題を克服するために、我々は、階層的コンテキストアライメント（HCA）、ドメイン一貫性表現学習（DCRL）、およびテキスト駆動レクティファイア（TDR）で構成されるULDAの新しいフレームワークを提案します。
これらのコンポーネントは相乗的に機能して、複数の視覚レベルにわたってシミュレートされたフィーチャをターゲット テキストと位置合わせし、異なる地域表現間の意味的な相関関係を保持し、シミュレートされたターゲットと実際のターゲットの視覚フィーチャ間のバイアスを修正します。
私たちの広範な実証的評価により、このフレームワークが両方の設定で競争力のあるパフォーマンスを達成し、ドメイン ID を必要とするモデルさえも上回っていることが実証され、その優位性と一般化能力が実証されています。
提案された方法は効果的であるだけでなく、推論中に追加の計算コストが発生しないため、実用性と効率性も維持されます。
私たちのプロジェクトページは https://senqiaoyang.com/project/ULDA です。

要約(オリジナル)

This paper introduces Unified Language-driven Zero-shot Domain Adaptation (ULDA), a novel task setting that enables a single model to adapt to diverse target domains without explicit domain-ID knowledge. We identify the constraints in the existing language-driven zero-shot domain adaptation task, particularly the requirement for domain IDs and domain-specific models, which may restrict flexibility and scalability. To overcome these issues, we propose a new framework for ULDA, consisting of Hierarchical Context Alignment (HCA), Domain Consistent Representation Learning (DCRL), and Text-Driven Rectifier (TDR). These components work synergistically to align simulated features with target text across multiple visual levels, retain semantic correlations between different regional representations, and rectify biases between simulated and real target visual features, respectively. Our extensive empirical evaluations demonstrate that this framework achieves competitive performance in both settings, surpassing even the model that requires domain-ID, showcasing its superiority and generalization ability. The proposed method is not only effective but also maintains practicality and efficiency, as it does not introduce additional computational costs during inference. Our project page is https://senqiaoyang.com/project/ULDA .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google