Controlled Training Data Generation with Diffusion Models

要約

この研究では、テキストから画像への生成モデルを制御して、教師あり学習に特に「役立つ」トレーニング データを生成する方法を紹介します。
開ループ アプローチを採用し、言語モデルまたは人間の専門知識を使用して新しいデータを生成するプロンプトを事前定義するこれまでの研究とは異なり、私たちは 2 つのフィードバック メカニズムを含む自動化された閉ループ システムを開発します。
最初のメカニズムは、特定の教師ありモデルからのフィードバックを使用し、モデルの損失を最大化する画像生成をもたらす敵対的なプロンプトを見つけます。
これらの敵対的なプロンプトにより、モデルによって通知される多様なデータが得られますが、ターゲットの分布については通知されないため、非効率となる可能性があります。
したがって、生成プロセスを特定のターゲット分布に向けて導く 2 番目のフィードバック メカニズムを導入します。
これら 2 つのメカニズムを組み合わせた方法を、Guided Adversarial Prompts と呼びます。
私たちは、さまざまな種類の分布シフト (擬似相関データ、目に見えないドメイン) を使用して、さまざまなタスク、データセット、アーキテクチャに対して評価を実行し、開ループ アプローチと比較して、提案されたフィードバック メカニズムの効率を実証します。

要約(オリジナル)

In this work, we present a method to control a text-to-image generative model to produce training data specifically ‘useful’ for supervised learning. Unlike previous works that employ an open-loop approach and pre-define prompts to generate new data using either a language model or human expertise, we develop an automated closed-loop system which involves two feedback mechanisms. The first mechanism uses feedback from a given supervised model and finds adversarial prompts that result in image generations that maximize the model loss. While these adversarial prompts result in diverse data informed by the model, they are not informed of the target distribution, which can be inefficient. Therefore, we introduce the second feedback mechanism that guides the generation process towards a certain target distribution. We call the method combining these two mechanisms Guided Adversarial Prompts. We perform our evaluations on different tasks, datasets and architectures, with different types of distribution shifts (spuriously correlated data, unseen domains) and demonstrate the efficiency of the proposed feedback mechanisms compared to open-loop approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google