Towards Aligned Layout Generation via Diffusion Model with Aesthetic Constraints

要約

制御可能なレイアウト生成とは、デザイン意図を表す制約を使用して、グラフィック デザイン (ドキュメントや Web デザインなど) 内の要素のもっともらしい視覚的配置を作成するプロセスを指します。
最近の拡散ベースのモデルは最先端の FID スコアを達成していますが、初期のトランスベースのモデルと比較して、より顕著なミスアライメントを示す傾向があります。
この研究では、広範なレイアウト生成タスクを処理する統合モデルである $\textbf{LA}$yout $\textbf{C}$onstraint diffusion mod$\textbf{E}$l (LACE) を提案します。
指定された属性を持つ要素を配置し、大まかなレイアウト設計を調整または完成させるなどです。
このモデルは連続拡散モデルに基づいています。
離散拡散モデルを使用する既存の方法と比較して、連続状態空間設計では、トレーニングに微分可能な美的制約関数を組み込むことができます。
条件付き生成の場合、マスクされた入力を介して条件を導入します。
広範な実験結果は、LACE が高品質のレイアウトを生成し、既存の最先端のベースラインを上回るパフォーマンスを示すことを示しています。

要約(オリジナル)

Controllable layout generation refers to the process of creating a plausible visual arrangement of elements within a graphic design (e.g., document and web designs) with constraints representing design intentions. Although recent diffusion-based models have achieved state-of-the-art FID scores, they tend to exhibit more pronounced misalignment compared to earlier transformer-based models. In this work, we propose the $\textbf{LA}$yout $\textbf{C}$onstraint diffusion mod$\textbf{E}$l (LACE), a unified model to handle a broad range of layout generation tasks, such as arranging elements with specified attributes and refining or completing a coarse layout design. The model is based on continuous diffusion models. Compared with existing methods that use discrete diffusion models, continuous state-space design can enable the incorporation of differentiable aesthetic constraint functions in training. For conditional generation, we introduce conditions via masked input. Extensive experiment results show that LACE produces high-quality layouts and outperforms existing state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google