DC-ControlNet: Decoupling Inter- and Intra-Element Conditions in Image Generation with Diffusion Models

要約

このホワイトペーパーでは、DC（Decouple）-Controlnetを紹介します。これは、多条件の画像生成のための非常に柔軟で正確に制御可能なフレームワークです。
DC-Controlnetの背後にあるコアアイデアは、制御条件を切り離し、グローバル制御を異なる要素、内容、およびレイアウトを統合する階層システムに変換することです。
これにより、ユーザーはこれらの個々の条件をより柔軟性と組み合わせることができ、より効率的で正確な画像生成制御につながることができます。
以前のコントロールネットベースのモデルは、画像全体に影響を与え、要素または領域固有の制御の能力を欠いているグローバルな条件のみに依存しています。
この制限により、柔軟性が低下し、多条件の画像生成の状態の誤解を引き起こす可能性があります。
これらの課題に対処するために、DC-Controlnetの要素内コントローラーと要素間コントローラーの両方を提案します。
エレメント内コントローラーは、個々の要素内のさまざまな種類の制御信号を処理し、オブジェクトのコンテンツとレイアウト特性を正確に説明します。
要素間の相互作用については、ユーザー定義の関係に基づいてマルチ要素の相互作用と閉塞を正確に処理する要素間コントローラーを導入します。
広範な評価により、DC-Controlnetは、マルチコンディショナル制御における制御の柔軟性と精度の観点から、既存のコントロールネットモデルとレイアウトから画像間モデルを大幅に上回ることが示されています。

要約(オリジナル)

In this paper, we introduce DC (Decouple)-ControlNet, a highly flexible and precisely controllable framework for multi-condition image generation. The core idea behind DC-ControlNet is to decouple control conditions, transforming global control into a hierarchical system that integrates distinct elements, contents, and layouts. This enables users to mix these individual conditions with greater flexibility, leading to more efficient and accurate image generation control. Previous ControlNet-based models rely solely on global conditions, which affect the entire image and lack the ability of element- or region-specific control. This limitation reduces flexibility and can cause condition misunderstandings in multi-conditional image generation. To address these challenges, we propose both intra-element and Inter-element Controllers in DC-ControlNet. The Intra-Element Controller handles different types of control signals within individual elements, accurately describing the content and layout characteristics of the object. For interactions between elements, we introduce the Inter-Element Controller, which accurately handles multi-element interactions and occlusion based on user-defined relationships. Extensive evaluations show that DC-ControlNet significantly outperforms existing ControlNet models and Layout-to-Image generative models in terms of control flexibility and precision in multi-condition control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google