Domain-Unified Prompt Representations for Source-Free Domain Generalization

要約

モデルを目に見えないドメインで機能させることを目的としたドメインジェネラライゼーション (DG) は、一般的な人工知能への確実な方法です。
現在の DG データセットの規模と多様性によって制限されているため、既存の方法をオープン ワールド シナリオ (SF やピクセレート スタイルなど) で多様なドメインに拡張することは困難です。
したがって、ソースフリー ドメイン一般化 (SFDG) タスクが必要であり、挑戦的です。
この問題に対処するために、大規模なビジョン言語事前トレーニング モデル (CLIP など) に基づくアプローチを提案します。これは、そこに埋め込まれた広範なドメイン情報を活用します。
提案されたスキームは、既存の DG データセットよりも多くの多様なドメインを含むドメイン バンクから多様なプロンプトを生成します。
さらに、私たちの方法は、これらのプロンプトからドメイン統合された表現を生成するため、オープンワールドドメインからのサンプルに対処できます。
主流の DG データセット、つまり PACS、VLCS、OfficeHome、および DomainNet での広範な実験では、トレーニングにソース ドメイン データを必要とする最先端 (SOTA) DG メソッドと比較して、提案された方法が競争力のあるパフォーマンスを達成することが示されています。
さらに、提案された方法のオープンワールドドメイン一般化能力を評価するために、2つのドメインで構成される小さなデータセットを収集します。
ソース コードとデータセットは、https://github.com/muse1998/Source-Free-Domain-Generalization で公開されます。

要約(オリジナル)

Domain generalization (DG), aiming to make models work on unseen domains, is a surefire way toward general artificial intelligence. Limited by the scale and diversity of current DG datasets, it is difficult for existing methods to scale to diverse domains in open-world scenarios (e.g., science fiction and pixelate style). Therefore, the source-free domain generalization (SFDG) task is necessary and challenging. To address this issue, we propose an approach based on large-scale vision-language pretraining models (e.g., CLIP), which exploits the extensive domain information embedded in it. The proposed scheme generates diverse prompts from a domain bank that contains many more diverse domains than existing DG datasets. Furthermore, our method yields domain-unified representations from these prompts, thus being able to cope with samples from open-world domains. Extensive experiments on mainstream DG datasets, namely PACS, VLCS, OfficeHome, and DomainNet, show that the proposed method achieves competitive performance compared to state-of-the-art (SOTA) DG methods that require source domain data for training. Besides, we collect a small datasets consists of two domains to evaluate the open-world domain generalization ability of the proposed method. The source code and the dataset will be made publicly available at https://github.com/muse1998/Source-Free-Domain-Generalization

arxiv情報

提供元, 利用サービス

arxiv.jp, Google