DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer

要約

ビジュアル レイアウトの生成は、グラフィック デザインの重要な要素です。
コンポーネント属性の部分サブセットでレイアウト生成を調整する機能は、ユーザーの操作を伴う実際のアプリケーションにとって重要です。
最近、拡散モデルは、さまざまなドメインで高品質の生成パフォーマンスを実証しています。
ただし、離散 (クラス) 属性と連続 (位置、サイズ) 属性の混合で構成されるレイアウトの自然な表現に拡散モデルを適用する方法は不明です。
コンディショニング レイアウト生成の問題に対処するために、離散連続拡散モデルである DLT を導入します。
DLT は、すべてのレイアウト コンポーネント クラス、場所、およびサイズの任意のサブセットを条件付けできる柔軟な条件付けメカニズムを備えた、トランスフォーマー ベースのモデルです。
私たちの方法は、さまざまなメトリックと条件設定に関して、さまざまなレイアウト生成データセットで最先端の生成モデルよりも優れています。
さらに、提案された調整メカニズムと共同の連続拡散プロセスの有効性を検証します。
この共同プロセスは、さまざまな離散連続生成タスクに組み込むことができます。

要約(オリジナル)

Generating visual layouts is an essential ingredient of graphic design. The ability to condition layout generation on a partial subset of component attributes is critical to real-world applications that involve user interaction. Recently, diffusion models have demonstrated high-quality generative performances in various domains. However, it is unclear how to apply diffusion models to the natural representation of layouts which consists of a mix of discrete (class) and continuous (location, size) attributes. To address the conditioning layout generation problem, we introduce DLT, a joint discrete-continuous diffusion model. DLT is a transformer-based model which has a flexible conditioning mechanism that allows for conditioning on any given subset of all the layout component classes, locations, and sizes. Our method outperforms state-of-the-art generative models on various layout generation datasets with respect to different metrics and conditioning settings. Additionally, we validate the effectiveness of our proposed conditioning mechanism and the joint continuous-diffusion process. This joint process can be incorporated into a wide range of mixed discrete-continuous generative tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google