SVGDreamer: Text Guided SVG Generation with Diffusion Model

要約

最近、テキストガイドによるスケーラブル ベクター グラフィックス (SVG) 合成が、図像やスケッチなどの分野で有望であることが示されています。
しかし、既存のテキストから SVG への生成方法には編集機能が欠けており、視覚的な品質と結果の多様性に苦労しています。
これらの制限に対処するために、SVGDreamer と呼ばれる新しいテキストガイド付きベクトル グラフィックス合成方法を提案します。
SVGDreamer には、前景オブジェクトと背景への合成の分解を可能にするセマンティック駆動型画像ベクトル化 (SIVE) プロセスが組み込まれており、それによって編集可能性が向上します。
具体的には、SIVE プロセスでは、個々の要素を効果的に制御および操作するためのアテンションベースのプリミティブ制御とアテンションマスク損失関数が導入されています。
さらに、既存のテキストから SVG への生成方法における形状の過度の平滑化、色の過度の彩度、結果の多様性の制限、収束の遅さといった課題に取り組むために、ベクトル化された粒子ベースのスコア蒸留 (VPSD) アプローチを提案します。
VPSD は、過度の平滑化や過度の飽和を防ぐために、コントロール ポイントと色の分布として SVG をモデル化します。
さらに、VPSD は報酬モデルを活用してベクトル パーティクルの重みを変更し、美的魅力を向上させ、収束を加速します。
SVGDreamer の有効性を検証するために広範な実験が行われ、編集可能性、ビジュアル品質、多様性の点でベースライン手法よりも優れていることが実証されました。
SVGDreamer のコードとデモは、https://ximinng.github.io/SVGDreamer-project/ にあります。

要約(オリジナル)

Recently, text-guided scalable vector graphics (SVGs) synthesis has shown promise in domains such as iconography and sketch. However, existing text-to-SVG generation methods lack editability and struggle with visual quality and result diversity. To address these limitations, we propose a novel text-guided vector graphics synthesis method called SVGDreamer. SVGDreamer incorporates a semantic-driven image vectorization (SIVE) process that enables the decomposition of synthesis into foreground objects and background, thereby enhancing editability. Specifically, the SIVE process introduce attention-based primitive control and an attention-mask loss function for effective control and manipulation of individual elements. Additionally, we propose a Vectorized Particle-based Score Distillation (VPSD) approach to tackle the challenges of shape over-smoothing, color over-saturation, limited diversity in results, and slow convergence in existing text-to-SVG generation methods. VPSD models SVGs as distributions of control points and colors to counteract over-smoothing and over-saturation. Furthermore, VPSD leverages a reward model to reweight vector particles, which improves aesthetic appeal and accelerates convergence. Extensive experiments have been conducted to validate the effectiveness of SVGDreamer, demonstrating its superiority over baseline methods in terms of editability, visual quality, and diversity. The code and demo of SVGDreamer can be found at https://ximinng.github.io/SVGDreamer-project/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google