要約
製品ポスターの生成は、デザイン効率を大幅に最適化し、生産コストを削減します。一般的な手法では、製品のきれいな背景画像を生成するために、画像インペインティング手法に依存しています。その後、ポスターレイアウト生成方法が採用され、対応するレイアウト結果が生成されます。しかし、背景画像は複雑であるため、テキストコンテンツに適していない場合があり、また、商品の位置が固定されているため、レイアウト結果の多様性が制限される。これらの問題を軽減するために、我々は拡散モデルに基づく新しい商品ポスター生成フレームワークP&Rを提案する。P&Rは、ポスター制作におけるデザイナーのワークフローから着想を得ており、2つのステージから構成される：それは、プランニングとレンダリングである。プランニング段階では、PlanNetを提案し、商品の外観特徴とテキストの意味的特徴の両方を考慮して、商品とその他のビジュアルコンポーネントのレイアウトを生成することで、レイアウトの多様性と合理性を向上させる。レンダリング段階では、生成されたレイアウトを考慮しながら商品の背景を生成するRenderNetを提案し、異なる視覚コンポーネントのレイアウトを融合する空間融合モジュールを導入する。この分野の発展を促進するために、我々は、3万枚の精巧な商品ポスター画像と包括的な画像とテキスト注釈からなる、最初の商品ポスター生成データセットPPG30kを提案する。我々の手法はPPG30kにおいて、最先端の商品ポスター生成手法を凌駕している。PPG30kは近日公開予定である。
要約(オリジナル)
Product poster generation significantly optimizes design efficiency and reduces production costs. Prevailing methods predominantly rely on image-inpainting methods to generate clean background images for given products. Subsequently, poster layout generation methods are employed to produce corresponding layout results. However, the background images may not be suitable for accommodating textual content due to their complexity, and the fixed location of products limits the diversity of layout results. To alleviate these issues, we propose a novel product poster generation framework based on diffusion models named P\&R. The P\&R draws inspiration from the workflow of designers in creating posters, which consists of two stages: Planning and Rendering. At the planning stage, we propose a PlanNet to generate the layout of the product and other visual components considering both the appearance features of the product and semantic features of the text, which improves the diversity and rationality of the layouts. At the rendering stage, we propose a RenderNet to generate the background for the product while considering the generated layout, where a spatial fusion module is introduced to fuse the layout of different visual components. To foster the advancement of this field, we propose the first product poster generation dataset PPG30k, comprising 30k exquisite product poster images along with comprehensive image and text annotations. Our method outperforms the state-of-the-art product poster generation methods on PPG30k. The PPG30k will be released soon.
arxiv情報
| 著者 | Zhaochen Li,Fengheng Li,Wei Feng,Honghe Zhu,Yaoyu Li,Zheng Zhang,Jingjing Lv,Junjie Shen,Zhangang Lin,Jingping Shao,Zhenglu Yang |
| 発行日 | 2024-09-03 07:42:44+00:00 |
| arxivサイト | arxiv_id(pdf) |