SVGDreamer: Text Guided SVG Generation with Diffusion Model

要約

近年、テキストガイドによるスケーラブル・ベクター・グラフィックス（SVG）合成が、図像やスケッチなどの領域で有望視されている。しかし、既存のテキストからSVGへの生成手法は編集性に欠け、視覚的品質と結果の多様性に苦戦している。これらの限界に対処するために、我々はSVGDreamerと呼ばれる新しいテキスト誘導型ベクトルグラフィックス合成法を提案する。SVGDreamerはセマンティック駆動型画像ベクトル化（SIVE）プロセスを組み込んでおり、合成を前景オブジェクトと背景オブジェクトに分解することを可能にし、それによって編集性を向上させる。具体的には、SIVEプロセスは、個々の要素の効果的な制御と操作のための注意ベースのプリミティブ制御と注意マスク損失関数を導入する。さらに、既存のテキストからSVGへの生成手法における、色の過飽和、ベクトルプリミティブの過剰平滑化、結果の多様性の制限という課題に取り組むために、ベクトル化粒子ベースのスコア蒸留（VPSD）アプローチを提案する。さらに、VPSDに基づき、報酬フィードバック学習（ReFL）を導入し、VPSDの収束を加速し、美的魅力を向上させる。SVGDreamerの有効性を検証するために広範な実験が行われ、編集可能性、視覚的品質、多様性の点でベースライン手法よりも優れていることが実証された。SVGDreamer のコードとデモは \href{https://ximinng.github.io/SVGDreamer-project/}{https://ximinng.github.io/SVGDreamer-project/} にあります。

要約(オリジナル)

Recently, text-guided scalable vector graphics (SVGs) synthesis has shown promise in domains such as iconography and sketch. However, existing text-to-SVG generation methods lack editability and struggle with visual quality and result diversity. To address these limitations, we propose a novel text-guided vector graphics synthesis method called SVGDreamer. SVGDreamer incorporates a semantic-driven image vectorization (SIVE) process that enables the decomposition of synthesis into foreground objects and background, thereby enhancing editability. Specifically, the SIVE process introduce attention-based primitive control and an attention-mask loss function for effective control and manipulation of individual elements. Additionally, we propose a Vectorized Particle-based Score Distillation (VPSD) approach to tackle the challenges of color over-saturation, vector primitives over-smoothing, and limited result diversity in existing text-to-SVG generation methods. Furthermore, on the basis of VPSD, we introduce Reward Feedback Learning (ReFL) to accelerate VPSD convergence and improve aesthetic appeal. Extensive experiments have been conducted to validate the effectiveness of SVGDreamer, demonstrating its superiority over baseline methods in terms of editability, visual quality, and diversity. The code and demo of SVGDreamer can be found at \href{https://ximinng.github.io/SVGDreamer-project/}{https://ximinng.github.io/SVGDreamer-project/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL