要約
ポスターの生成は様々な用途で重要なタスクですが、多くの場合、時間がかかり、手作業による編集や芸術的な経験を必要とします。本論文では、テキスト情報から視覚的に効果的なポスターを自動生成するための新しいデータ駆動型フレームワーク「 \textit{Text2Poster} 」を提案します。本フレームワークは、人手によるポスター編集のプロセスを模倣し、事前に学習した大規模な視覚・テキストモデルを活用して、与えられたテキストから背景画像を取得し、カスケードオートエンコーダによって画像上にテキストを繰り返し配置し、最後にマッチングベースの手法によってテキストをスタイリッシュに仕上げます。我々は弱教師付き学習と自己教師付き学習によりフレームワークのモジュールを学習し、ラベル付きデータの必要性を軽減する。客観的・主観的な実験により、Text2Posterは、生成されるポスターの品質において、学術研究や商用ソフトウェアを含む最先端の手法を凌駕することを実証している。
要約(オリジナル)
Poster generation is a significant task for a wide range of applications, which is often time-consuming and requires lots of manual editing and artistic experience. In this paper, we propose a novel data-driven framework, called \textit{Text2Poster}, to automatically generate visually-effective posters from textual information. Imitating the process of manual poster editing, our framework leverages a large-scale pretrained visual-textual model to retrieve background images from given texts, lays out the texts on the images iteratively by cascaded auto-encoders, and finally, stylizes the texts by a matching-based method. We learn the modules of the framework by weakly- and self-supervised learning strategies, mitigating the demand for labeled data. Both objective and subjective experiments demonstrate that our Text2Poster outperforms state-of-the-art methods, including academic research and commercial software, on the quality of generated posters.
arxiv情報
| 著者 | Chuhao Jin,Hongteng Xu,Ruihua Song,Zhiwu Lu |
| 発行日 | 2023-01-06 04:06:23+00:00 |
| arxivサイト | arxiv_id(pdf) |