Word-As-Image for Semantic Typography

要約

ワードアズイメージとは、セマンティックタイポグラフィの手法の一つで、単語の可読性を保ちつつ、単語の意味を視覚化したイラストレーションを提示するものである。本稿では、単語を画像化したイラストを自動的に作成する手法を紹介する。この作業は、単語の意味的な理解と、その意味を視覚的に美しく読みやすく表現する場所と方法についての創造的なアイデアが必要であり、非常に困難である。私たちは、最近の大規模な事前学習された言語ビジョンモデルが持つ、テキスト概念を視覚的に抽出する顕著な能力を利用しています。私たちは、意味を明確に伝えるために、シンプルで簡潔なモノクロのデザインを目指します。また、文字の色や質感をあえて変えず、装飾も用いない。本手法は、事前に学習させた安定拡散モデルによって、各文字の輪郭を最適化し、必要な概念を伝える。また、テキストの読みやすさとフォントのスタイルを維持するために、追加の損失項を組み込んでいます。多くの例で高品質で魅力的な結果を示し、代替手法と比較する。

要約(オリジナル)

A word-as-image is a semantic typography technique where a word illustration presents a visualization of the meaning of the word, while also preserving its readability. We present a method to create word-as-image illustrations automatically. This task is highly challenging as it requires semantic understanding of the word and a creative idea of where and how to depict these semantics in a visually pleasing and legible manner. We rely on the remarkable ability of recent large pretrained language-vision models to distill textual concepts visually. We target simple, concise, black-and-white designs that convey the semantics clearly. We deliberately do not change the color or texture of the letters and do not use embellishments. Our method optimizes the outline of each letter to convey the desired concept, guided by a pretrained Stable Diffusion model. We incorporate additional loss terms to ensure the legibility of the text and the preservation of the style of the font. We show high quality and engaging results on numerous examples and compare to alternative techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL