Adapt Anything: Tailor Any Image Classifiers across Domains And Categories Using Text-to-Image Diffusion Models

要約

この論文では新しい方法を追求するわけではありませんが、最新のテキストから画像への拡散モデルがドメインやカテゴリ全体でタスク適応型画像分類器を調整できるかどうかを研究することを目的としています。
既存のドメイン適応型画像分類作業は、ソース データとターゲット データの両方をドメイン アラインメントに利用して、ラベル付きソース データから学習した知識をラベルなしターゲット データに転送します。
しかし、テキストから画像への拡散モデルの開発として、テキストから画像へのジェネレーターからの高忠実度の合成データが現実世界のソース データの代わりとして機能できるかどうか疑問に思っています。
この方法では、各ドメイン適応タスクのソース データを 1 対 1 の方法で収集して注釈を付ける必要がありません。
代わりに、既製のテキストから画像へのモデルを 1 つだけ使用して、対応するテキスト プロンプトから派生したカテゴリ ラベルを備えた画像を合成し、そのサロゲート データをブリッジとして利用して、タスクに依存しないテキストに埋め込まれた知識を転送します。
-to-image ジェネレーターから、ドメイン適応を介したタスク指向の画像分類器へ。
このようなワンフォーオール適応パラダイムにより、1 つのテキストから画像へのジェネレーターと、対応するラベルのないターゲット データのみを使用して、世界中のあらゆるものを適応させることができます。
広範な実験により、提案されたアイデアの実現可能性が検証され、現実世界で収集され注釈が付けられたソースデータを使用した最先端のドメイン適応作業をも上回ります。

要約(オリジナル)

We do not pursue a novel method in this paper, but aim to study if a modern text-to-image diffusion model can tailor any task-adaptive image classifier across domains and categories. Existing domain adaptive image classification works exploit both source and target data for domain alignment so as to transfer the knowledge learned from the labeled source data to the unlabeled target data. However, as the development of the text-to-image diffusion model, we wonder if the high-fidelity synthetic data from the text-to-image generator can serve as a surrogate of the source data in real world. In this way, we do not need to collect and annotate the source data for each domain adaptation task in a one-for-one manner. Instead, we utilize only one off-the-shelf text-to-image model to synthesize images with category labels derived from the corresponding text prompts, and then leverage the surrogate data as a bridge to transfer the knowledge embedded in the task-agnostic text-to-image generator to the task-oriented image classifier via domain adaptation. Such a one-for-all adaptation paradigm allows us to adapt anything in the world using only one text-to-image generator as well as the corresponding unlabeled target data. Extensive experiments validate the feasibility of the proposed idea, which even surpasses the state-of-the-art domain adaptation works using the source data collected and annotated in real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google