SVGDreamer: Text Guided SVG Generation with Diffusion Model

要約

最近、テキストガイドによるスケーラブル ベクター グラフィックス (SVG) 合成が、図像やスケッチなどの分野で有望であることが示されています。
しかし、既存のテキストから SVG への生成方法には編集機能が欠けており、視覚的な品質と結果の多様性に苦労しています。
これらの制限に対処するために、SVGDreamer と呼ばれる新しいテキストガイド付きベクトル グラフィックス合成方法を提案します。
SVGDreamer には、前景オブジェクトと背景への合成の分解を可能にするセマンティック駆動型画像ベクトル化 (SIVE) プロセスが組み込まれており、それによって編集可能性が向上します。
具体的には、SIVE プロセスでは、個々の要素を効果的に制御および操作するために、アテンションベースのプリミティブ制御とアテンション マスク損失関数が導入されています。
さらに、SVG を分布としてモデル化することで、形状の過度の平滑化、色の過度の彩度、多様性の制限、および既存のテキストから SVG への生成方法の収束の遅さの問題に対処するために、ベクトル化された粒子ベースのスコア蒸留 (VPSD) アプローチを提案します。
コントロールポイントと色の設定。
さらに、VPSD は報酬モデルを利用してベクトル パーティクルの重みを再設定するため、美的魅力が向上し、収束が加速されます。
SVGDreamer の有効性を検証するために広範な実験が行われ、編集可能性、ビジュアル品質、多様性の点でベースライン手法よりも優れていることが実証されています。
プロジェクトページ: \href{https://ximinng.github.io/SVGDreamer-project/}{https://ximinng.github.io/SVGDreamer-project/}

要約(オリジナル)

Recently, text-guided scalable vector graphics (SVGs) synthesis has shown promise in domains such as iconography and sketch. However, existing text-to-SVG generation methods lack editability and struggle with visual quality and result diversity. To address these limitations, we propose a novel text-guided vector graphics synthesis method called SVGDreamer. SVGDreamer incorporates a semantic-driven image vectorization (SIVE) process that enables the decomposition of synthesis into foreground objects and background, thereby enhancing editability. Specifically, the SIVE process introduces attention-based primitive control and an attention-mask loss function for effective control and manipulation of individual elements. Additionally, we propose a Vectorized Particle-based Score Distillation (VPSD) approach to address issues of shape over-smoothing, color over-saturation, limited diversity, and slow convergence of the existing text-to-SVG generation methods by modeling SVGs as distributions of control points and colors. Furthermore, VPSD leverages a reward model to re-weight vector particles, which improves aesthetic appeal and accelerates convergence. Extensive experiments are conducted to validate the effectiveness of SVGDreamer, demonstrating its superiority over baseline methods in terms of editability, visual quality, and diversity. Project page: \href{https://ximinng.github.io/SVGDreamer-project/}{https://ximinng.github.io/SVGDreamer-project/}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google