DPStyler: Dynamic PromptStyler for Source-Free Domain Generalization

要約

ソースフリー ドメイン一般化 (SFDG) は、ソース ドメインに依存せずに、目に見えないターゲット ドメインで機能するモデルを開発することを目的としています。
最近の研究である PromptStyler は、テキスト プロンプトを使用して、共同視覚言語空間におけるさまざまな分布の変化をシミュレートし、画像を使用せずにモデルを目に見えない領域に効果的に一般化できるようにしています。
ただし、1) すべてのスタイル パターンは最初のトレーニング フェーズ後に固定されるため、PromptStyler のスタイル生成戦略には制限があります。
これにより、第 2 トレーニング フェーズのトレーニング セットは、限られたスタイルのセットに制限されます。
さらに、2) PromptStyler のフリーズされたテキスト エンコーダーにより、入力テキスト プロンプトのスタイルに応じてエンコーダーの出力が変化するため、モデルがドメイン不変の特徴を学習することが困難になります。
このペーパーでは、これらの問題に対処するために、スタイル生成モジュールとスタイル削除モジュールで構成される Dynamic PromptStyler (DPStyler) を紹介します。
スタイル生成モジュールはトレーニング エポックごとにすべてのスタイルを更新し、スタイル削除モジュールは入力スタイルによって引き起こされるエンコーダーの出力特徴の変動を排除します。
さらに、ランダム サンプリングまたはスタイル混合を使用してスタイル ワード ベクトルを生成する役割を担うスタイル生成モジュールにより、モデルが入力テキスト プロンプトに敏感になるため、この敏感性を軽減するモデル アンサンブル手法を導入します。
広範な実験により、私たちのフレームワークがベンチマーク データセットで最先端の手法よりも優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

Source-Free Domain Generalization (SFDG) aims to develop a model that works for unseen target domains without relying on any source domain. Recent work, PromptStyler, employs text prompts to simulate different distribution shifts in the joint vision-language space, allowing the model to generalize effectively to unseen domains without using any images. However, 1) PromptStyler’s style generation strategy has limitations, as all style patterns are fixed after the first training phase. This leads to the training set in the second training phase being restricted to a limited set of styles. Additionally, 2) the frozen text encoder in PromptStyler result in the encoder’s output varying with the style of the input text prompts, making it difficult for the model to learn domain-invariant features. In this paper, we introduce Dynamic PromptStyler (DPStyler), comprising Style Generation and Style Removal modules to address these issues. The Style Generation module refreshes all styles at every training epoch, while the Style Removal module eliminates variations in the encoder’s output features caused by input styles. Moreover, since the Style Generation module, responsible for generating style word vectors using random sampling or style mixing, makes the model sensitive to input text prompts, we introduce a model ensemble method to mitigate this sensitivity. Extensive experiments demonstrate that our framework outperforms state-of-the-art methods on benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google