An Image is Worth Multiple Words: Multi-attribute Inversion for Constrained Text-to-Image Synthesis

要約

ユーザーが指定した参照画像を使用して拡散モデルの出力を制約する問題を検討します。
私たちの主な目的は、この単一の参照画像から複数の属性 (色、オブジェクト、レイアウト、スタイルなど) を抽出し、それらを使用して新しいサンプルを生成することです。
既存の研究の 1 行では、参照画像を単一のテキスト条件付けベクトルに反転し、この学習されたトークンを使用して新しいサンプルを生成できるようにすることを提案しています。
ただし、これらのメソッドは、上記の複数の属性でモデルの出力を調整するために必要な複数のトークンを学習しません。
別の一連の手法では、反転空間を拡張して複数の埋め込みを学習しますが、これは層の次元 (たとえば、DDPM モデルの層ごとに 1 つ) またはタイムステップの次元 (ノイズ除去プロセスの一連のタイムステップに 1 つ) に沿ってのみ実行されます。
最適ではない属性のもつれの解消。
前述のギャップに対処するために、このペーパーの最初の貢献は、ノイズ除去プロセスのどの次元でどの属性がキャプチャされるかを決定する広範な分析です。
上で述べたように、タイムステップ次元 (逆ノイズ除去における) と DDPM モデル層次元の両方を考慮します。
多くの場合、これらの属性のサブセットが同じモデル レイヤーのセット内で、および/または同じノイズ除去タイムステップにわたってキャプチャされることが観察されています。
たとえば、色とスタイルは同じ U-Net レイヤー全体でキャプチャされますが、レイアウトと色は同じタイムステップ ステージ全体でキャプチャされます。
したがって、タイムステップ次元または層次元のみを対象として設計された反転プロセスでは、すべての属性を解きほぐすには不十分です。
これは、2 番目の貢献につながります。そこでは、もつれ解除を強化する正則化損失を伴う新しい多属性反転アルゴリズム MATTE を設計します。このアルゴリズムは、両方の次元にわたって動作し、4 つのもつれ解除されたトークン (色、スタイル、レイアウト、オブジェクト) を明示的に導きます。

要約(オリジナル)

We consider the problem of constraining diffusion model outputs with a user-supplied reference image. Our key objective is to extract multiple attributes (e.g., color, object, layout, style) from this single reference image, and then generate new samples with them. One line of existing work proposes to invert the reference images into a single textual conditioning vector, enabling generation of new samples with this learned token. These methods, however, do not learn multiple tokens that are necessary to condition model outputs on the multiple attributes noted above. Another line of techniques expand the inversion space to learn multiple embeddings but they do this only along the layer dimension (e.g., one per layer of the DDPM model) or the timestep dimension (one for a set of timesteps in the denoising process), leading to suboptimal attribute disentanglement. To address the aforementioned gaps, the first contribution of this paper is an extensive analysis to determine which attributes are captured in which dimension of the denoising process. As noted above, we consider both the time-step dimension (in reverse denoising) as well as the DDPM model layer dimension. We observe that often a subset of these attributes are captured in the same set of model layers and/or across same denoising timesteps. For instance, color and style are captured across same U-Net layers, whereas layout and color are captured across same timestep stages. Consequently, an inversion process that is designed only for the time-step dimension or the layer dimension is insufficient to disentangle all attributes. This leads to our second contribution where we design a new multi-attribute inversion algorithm, MATTE, with associated disentanglement-enhancing regularization losses, that operates across both dimensions and explicitly leads to four disentangled tokens (color, style, layout, and object).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google