Compositional Visual Generation with Composable Diffusion Models

要約

DALLE-2 などの大規模なテキスト ガイド付き拡散モデルは、自然言語による説明が与えられた場合、見事な写真のようにリアルな画像を生成できます。
このようなモデルは非常に柔軟ですが、さまざまなオブジェクトの属性やオブジェクト間の関係を混同するなど、特定の概念の構成を理解するのに苦労しています。
この論文では、拡散モデルを使用した組成生成のための代替構造化アプローチを提案します。
画像は、一連の拡散モデルを構成することによって生成されます。各拡散モデルは、画像の特定のコンポーネントをモデル化しています。
これを行うために、拡散モデルを、エネルギー関数によって定義されたデータ分布を明示的に組み合わせることができるエネルギーベースのモデルとして解釈します。
提案された方法は、トレーニングで見られるものよりもかなり複雑なシーンをテスト時に生成し、文の説明、オブジェクトの関係、人間の顔の属性を構成し、現実の世界ではめったに見られない新しい組み合わせに一般化することさえできます。
さらに、このアプローチを使用して、事前トレーニング済みのテキストガイド付き拡散モデルを構成し、DALLE-2 では困難であることが示されている特定のオブジェクト属性のバインディングを含む、入力の説明に記述されているすべての詳細を含む写実的な画像を生成する方法を示します。
これらの結果は、視覚生成のための構造化された一般化を促進する上で、提案された方法の有効性を示しています。
プロジェクトページ: https://energy-based-model.github.io/Compositional-Visual-Generation-with-Composable-Diffusion-Models/

要約(オリジナル)

Large text-guided diffusion models, such as DALLE-2, are able to generate stunning photorealistic images given natural language descriptions. While such models are highly flexible, they struggle to understand the composition of certain concepts, such as confusing the attributes of different objects or relations between objects. In this paper, we propose an alternative structured approach for compositional generation using diffusion models. An image is generated by composing a set of diffusion models, with each of them modeling a certain component of the image. To do this, we interpret diffusion models as energy-based models in which the data distributions defined by the energy functions may be explicitly combined. The proposed method can generate scenes at test time that are substantially more complex than those seen in training, composing sentence descriptions, object relations, human facial attributes, and even generalizing to new combinations that are rarely seen in the real world. We further illustrate how our approach may be used to compose pre-trained text-guided diffusion models and generate photorealistic images containing all the details described in the input descriptions, including the binding of certain object attributes that have been shown difficult for DALLE-2. These results point to the effectiveness of the proposed method in promoting structured generalization for visual generation. Project page: https://energy-based-model.github.io/Compositional-Visual-Generation-with-Composable-Diffusion-Models/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google