Compositional Visual Generation with Composable Diffusion Models

要約

DALLE-2などの大規模なテキストガイド拡散モデルは、自然言語の説明が与えられた場合に、見事な写実的な画像を生成できます。
このようなモデルは非常に柔軟性がありますが、さまざまなオブジェクトの属性やオブジェクト間の関係を混乱させるなど、特定の概念の構成を理解するのに苦労しています。
この論文では、拡散モデルを使用した組成生成のための代替の構造化アプローチを提案します。
画像は、拡散モデルのセットを構成することによって生成されます。各モデルは、画像の特定のコンポーネントをモデル化します。
これを行うために、拡散モデルを、エネルギー関数によって定義されたデータ分布を明示的に組み合わせることができるエネルギーベースのモデルとして解釈します。
提案された方法は、トレーニングで見られるものよりも実質的に複雑なシーンをテスト時に生成し、文の説明、オブジェクトの関係、人間の顔の属性を構成し、現実の世界ではめったに見られない新しい組み合わせに一般化することさえできます。
さらに、事前にトレーニングされたテキストガイド拡散モデルを作成し、DALLE-2では困難であることが示されている特定のオブジェクト属性のバインドを含む、入力の説明に記載されているすべての詳細を含むフォトリアリスティックな画像を生成するために、このアプローチをどのように使用できるかを示します。
これらの結果は、視覚生成のための構造化された一般化を促進する上で提案された方法の有効性を示しています。
プロジェクトページ：https：//energy-based-model.github.io/Compositional-Visual-Generation-with-Composable-Diffusion-Models/

要約(オリジナル)

Large text-guided diffusion models, such as DALLE-2, are able to generate stunning photorealistic images given natural language descriptions. While such models are highly flexible, they struggle to understand the composition of certain concepts, such as confusing the attributes of different objects or relations between objects. In this paper, we propose an alternative structured approach for compositional generation using diffusion models. An image is generated by composing a set of diffusion models, with each of them modeling a certain component of the image. To do this, we interpret diffusion models as energy-based models in which the data distributions defined by the energy functions may be explicitly combined. The proposed method can generate scenes at test time that are substantially more complex than those seen in training, composing sentence descriptions, object relations, human facial attributes, and even generalizing to new combinations that are rarely seen in the real world. We further illustrate how our approach may be used to compose pre-trained text-guided diffusion models and generate photorealistic images containing all the details described in the input descriptions, including the binding of certain object attributes that have been shown difficult for DALLE-2. These results point to the effectiveness of the proposed method in promoting structured generalization for visual generation. Project page: https://energy-based-model.github.io/Compositional-Visual-Generation-with-Composable-Diffusion-Models/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google