TokenCompose: Grounding Diffusion with Token-level Supervision

要約

ユーザー指定のテキスト プロンプトとモデルで生成された画像の間の一貫性を強化する、テキストから画像への生成のための潜在拡散モデルである TokenCompose を紹介します。
大きな成功にもかかわらず、潜在拡散モデルの標準的なノイズ除去プロセスはテキスト プロンプトを条件としてのみ取り、テキスト プロンプトと画像コンテンツの間の一貫性に関する明示的な制約がないため、複数のオブジェクト カテゴリを構成する場合に満足のいく結果が得られません。
TokenCompose は、微調整段階で画像コンテンツとオブジェクト セグメンテーション マップの間にトークンごとの一貫性条件を導入することで、マルチカテゴリ インスタンスの構成を改善することを目的としています。
TokenCompose は、人間による追加のラベル付け情報なしで、テキスト条件付き拡散モデルの既存のトレーニング パイプラインに直接適用できます。
安定拡散を微調整することにより、モデルはマルチカテゴリのインスタンス構成が大幅に改善され、生成された画像のフォトリアリズムが強化されました。

要約(オリジナル)

We present TokenCompose, a Latent Diffusion Model for text-to-image generation that achieves enhanced consistency between user-specified text prompts and model-generated images. Despite its tremendous success, the standard denoising process in the Latent Diffusion Model takes text prompts as conditions only, absent explicit constraint for the consistency between the text prompts and the image contents, leading to unsatisfactory results for composing multiple object categories. TokenCompose aims to improve multi-category instance composition by introducing the token-wise consistency terms between the image content and object segmentation maps in the finetuning stage. TokenCompose can be applied directly to the existing training pipeline of text-conditioned diffusion models without extra human labeling information. By finetuning Stable Diffusion, the model exhibits significant improvements in multi-category instance composition and enhanced photorealism for its generated images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google