Prompting Hard or Hardly Prompting: Prompt Inversion for Text-to-Image Diffusion Models

要約

テキストから画像への拡散モデルに提供されるプロンプトの品質によって、生成されたコンテンツがユーザーの意図にどれだけ忠実であるかが決まり、多くの場合「プロンプト エンジニアリング」が必要になります。
迅速なエンジニアリングを行わずにターゲット画像からビジュアルコンセプトを利用するために、現在のアプローチは主に、最適化して擬似トークンにマッピングすることによる埋め込み反転に依存しています。
ただし、このような高次元ベクトル表現を扱うことは、意味論と解釈可能性が欠如しており、使用時に単純なベクトル操作しか許可されないため、困難です。
代わりに、この研究は、解釈可能な言語プロンプトを直接取得するために拡散モデルを反転することに焦点を当てています。
これを行う際の課題は、結果として得られる最適化問題が基本的に離散的であり、プロンプトの空間が指数関数的に大きいという事実にあります。
このため、確率的勾配降下法などの標準的な最適化手法を使用することが困難になります。
この目的を達成するために、遅延投影スキームを利用して、モデル内の語彙空間を表すプロンプトを最適化します。
さらに、拡散プロセスのさまざまなタイムステップが画像のさまざまな詳細レベルに対応するという発見を活用します。
順拡散プロセスの後のノイズの多いタイムステップは意味情報に対応するため、この範囲でのプロンプト反転により画像の意味論を表すトークンが提供されます。
私たちのアプローチは、同様のコンテンツを持つ多様な画像を合成するために使用できる、ターゲット画像に対する意味的に解釈可能で意味のあるプロンプトを識別できることを示します。
さらに、進化的な画像生成と概念除去における最適化されたプロンプトの適用について説明します。

要約(オリジナル)

The quality of the prompts provided to text-to-image diffusion models determines how faithful the generated content is to the user’s intent, often requiring `prompt engineering’. To harness visual concepts from target images without prompt engineering, current approaches largely rely on embedding inversion by optimizing and then mapping them to pseudo-tokens. However, working with such high-dimensional vector representations is challenging because they lack semantics and interpretability, and only allow simple vector operations when using them. Instead, this work focuses on inverting the diffusion model to obtain interpretable language prompts directly. The challenge of doing this lies in the fact that the resulting optimization problem is fundamentally discrete and the space of prompts is exponentially large; this makes using standard optimization techniques, such as stochastic gradient descent, difficult. To this end, we utilize a delayed projection scheme to optimize for prompts representative of the vocabulary space in the model. Further, we leverage the findings that different timesteps of the diffusion process cater to different levels of detail in an image. The later, noisy, timesteps of the forward diffusion process correspond to the semantic information, and therefore, prompt inversion in this range provides tokens representative of the image semantics. We show that our approach can identify semantically interpretable and meaningful prompts for a target image which can be used to synthesize diverse images with similar content. We further illustrate the application of the optimized prompts in evolutionary image generation and concept removal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google