Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models

要約

最近のテキストから画像への生成モデルは、ターゲット テキスト プロンプトに基づいて多様で創造的な画像を生成する比類のない能力を実証しています。
革新的ではありますが、現在の最先端の拡散モデルでは、指定されたテキスト プロンプトのセマンティクスを完全に伝える画像を生成できない可能性があります。
私たちは、公的に利用可能な安定拡散モデルを分析し、モデルが入力プロンプトから 1 つ以上の被験者を生成できない、壊滅的な無視の存在を評価します。
さらに、場合によっては、モデルが属性 (色など) を対応するサブジェクトに正しくバインドできないこともわかります。
これらの失敗ケースを軽減するために、生成意味看護 (GSN) の概念を導入します。GSN では、推論時間中にオンザフライで生成プロセスに介入し、生成された画像の忠実性を向上させます。
Attend-and-Excite と呼ばれる GSN の注意ベースの定式化を使用して、テキスト プロンプト内のすべての主題トークンに注意を払い、その活性化を強化または興奮させるように相互注意ユニットを改良するようにモデルを導き、モデルが次のことを行うように促します。
テキスト プロンプトに記述されているすべての件名を生成します。
私たちのアプローチを他のアプローチと比較し、それがさまざまなテキスト プロンプトにわたって望ましい概念をより忠実に伝えることを実証します。

要約(オリジナル)

Recent text-to-image generative models have demonstrated an unparalleled ability to generate diverse and creative imagery guided by a target text prompt. While revolutionary, current state-of-the-art diffusion models may still fail in generating images that fully convey the semantics in the given text prompt. We analyze the publicly available Stable Diffusion model and assess the existence of catastrophic neglect, where the model fails to generate one or more of the subjects from the input prompt. Moreover, we find that in some cases the model also fails to correctly bind attributes (e.g., colors) to their corresponding subjects. To help mitigate these failure cases, we introduce the concept of Generative Semantic Nursing (GSN), where we seek to intervene in the generative process on the fly during inference time to improve the faithfulness of the generated images. Using an attention-based formulation of GSN, dubbed Attend-and-Excite, we guide the model to refine the cross-attention units to attend to all subject tokens in the text prompt and strengthen – or excite – their activations, encouraging the model to generate all subjects described in the text prompt. We compare our approach to alternative approaches and demonstrate that it conveys the desired concepts more faithfully across a range of text prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google