Shape-Guided Diffusion with Inside-Outside Attention

要約

オブジェクトを操作するとき、既存のテキストから画像への拡散モデルは、多くの場合、オブジェクトの形状を無視し、不適切にスケーリング、カットオフ、または背景コンテンツに置き換えられたコンテンツを生成します。
ユーザーが指定した、またはテキストから自動的に推測された形状入力に敏感になるように事前トレーニング済みの拡散モデルを変更する、トレーニング不要の方法である Shape-Guided Diffusion を提案します。
反転および生成プロセス中に新しいInside-Outside Attentionメカニズムを使用して、この形状制約をクロスおよびセルフアテンションマップに適用します。
私たちのメカニズムは、オブジェクト (内側) と背景 (外側) の空間領域を指定し、テキスト プロンプトで指定された編集を正しい領域に関連付けます。
モデルがテキスト プロンプトとオブジェクト マスクに従ってオブジェクトを置換する必要がある形状ガイド付き編集タスクで、この方法の有効性を示します。
MS-COCO から派生した新しい ShapePrompts ベンチマークをキュレートし、自動メトリックとアノテーター評価の両方に従って、テキストの配置や画像のリアリズムを低下させることなく、形状の忠実度で SOTA の結果を達成します。
私たちのデータとコードは、https://shape-guided-diffusion.github.io で利用できるようになります。

要約(オリジナル)

When manipulating an object, existing text-to-image diffusion models often ignore the shape of the object and generate content that is incorrectly scaled, cut off, or replaced with background content. We propose a training-free method, Shape-Guided Diffusion, that modifies pretrained diffusion models to be sensitive to shape input specified by a user or automatically inferred from text. We use a novel Inside-Outside Attention mechanism during the inversion and generation process to apply this shape constraint to the cross- and self-attention maps. Our mechanism designates which spatial region is the object (inside) vs. background (outside) then associates edits specified by text prompts to the correct region. We demonstrate the efficacy of our method on the shape-guided editing task, where the model must replace an object according to a text prompt and object mask. We curate a new ShapePrompts benchmark derived from MS-COCO and achieve SOTA results in shape faithfulness without a degradation in text alignment or image realism according to both automatic metrics and annotator ratings. Our data and code will be made available at https://shape-guided-diffusion.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google