VitaGlyph: Vitalizing Artistic Typography with Flexible Dual-branch Diffusion Models

要約

芸術的なタイポグラフィーは、入力された文字の意味を想像しやすく、読みやすい方法で視覚化する手法です。
既存の方法では、強力なテキストから画像への拡散モデルを使用して、入力文字の全体的なジオメトリとテクスチャを直接設計するため、創造性と可読性の両方を確保することが困難になっています。
この論文では、可読性を維持するための制御可能なジオメトリ変更とともに、柔軟で芸術的なタイポグラフィを可能にする、デュアルブランチでトレーニング不要のメソッド、つまり VitaGlyph を紹介します。
VitaGlyph の重要な洞察は、入力文字を対象と周囲で構成されるシーンとして扱い、その後、それらをさまざまな程度のジオメトリ変換の下でレンダリングすることです。
被写体は入力文字の本質的なコンセプトを柔軟に表現し、周囲は形状を変えることなく関連する背景を豊かにします。
具体的には、次の 3 段階のフレームワークを通じて VitaGlyph を実装します。 (i) 知識の獲得では、大規模な言語モデルを活用して、主題とその周囲のテキスト説明をデザインします。
(ii) 領域分解では、主題の説明に最も一致する部分を検出し、入力グリフ画像を主題とその周囲の領域に分割します。
(iii) タイポグラフィー スタイライゼーションは、まずセマンティック タイポグラフィーによって対象領域の構造を洗練し、次に制御可能な構成生成を通じて対象領域と周囲領域のテクスチャを個別にレンダリングします。
実験結果は、VitaGlyph がより優れた芸術性と読みやすさを実現するだけでなく、複数のカスタマイズコンセプトを表現し、より創造的で魅力的な芸術的なタイポグラフィーの生成を容易にすることを示しています。
私たちのコードは https://github.com/Carlofkl/VitaGlyph で公開されます。

要約(オリジナル)

Artistic typography is a technique to visualize the meaning of input character in an imaginable and readable manner. With powerful text-to-image diffusion models, existing methods directly design the overall geometry and texture of input character, making it challenging to ensure both creativity and legibility. In this paper, we introduce a dual-branch and training-free method, namely VitaGlyph, enabling flexible artistic typography along with controllable geometry change to maintain the readability. The key insight of VitaGlyph is to treat input character as a scene composed of Subject and Surrounding, followed by rendering them under varying degrees of geometry transformation. The subject flexibly expresses the essential concept of input character, while the surrounding enriches relevant background without altering the shape. Specifically, we implement VitaGlyph through a three-phase framework: (i) Knowledge Acquisition leverages large language models to design text descriptions of subject and surrounding. (ii) Regional decomposition detects the part that most matches the subject description and divides input glyph image into subject and surrounding regions. (iii) Typography Stylization firstly refines the structure of subject region via Semantic Typography, and then separately renders the textures of Subject and Surrounding regions through Controllable Compositional Generation. Experimental results demonstrate that VitaGlyph not only achieves better artistry and readability, but also manages to depict multiple customize concepts, facilitating more creative and pleasing artistic typography generation. Our code will be made publicly at https://github.com/Carlofkl/VitaGlyph.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google