Conditional Human Sketch Synthesis with Explicit Abstraction Control

要約

この論文では、クラス条件付き合成および写真からスケッチへの合成における明示的な抽象化制御に対処する、新しいフリーハンド スケッチ合成アプローチを紹介します。
抽象化はスケッチと画像の基本的な違いを定義するため、スケッチの重要な側面です。
以前の作品は、さまざまなレベルの抽象化を達成するために暗黙的な制御に依存していたため、制御が不正確になり、人間のスケッチから逸脱したスケッチが合成されました。
この課題を解決するために、トランスフォーマーベースの潜在拡散モデル (LDM) に統合された 2 つの新しい抽象化制御メカニズム、状態埋め込みとストローク トークンを提案します。
これらのメカニズムは、必要な量のポイントまたはストロークをモデルに明示的に提供し、認識性を維持しながら、合成スケッチでの正確なポイントレベルおよびストロークレベルの制御を可能にします。
最先端のアプローチを上回るパフォーマンスを発揮する当社の方法は、多様で非剛体で人間のようなスケッチを効果的に生成します。
提案されたアプローチは、一貫したスケッチ合成を可能にし、望ましい抽象化レベルで人間の習慣を表現することに優れており、現実世界のアプリケーションにおけるスケッチ合成の可能性を強調しています。

要約(オリジナル)

This paper presents a novel free-hand sketch synthesis approach addressing explicit abstraction control in class-conditional and photo-to-sketch synthesis. Abstraction is a vital aspect of sketches, as it defines the fundamental distinction between a sketch and an image. Previous works relied on implicit control to achieve different levels of abstraction, leading to inaccurate control and synthesized sketches deviating from human sketches. To resolve this challenge, we propose two novel abstraction control mechanisms, state embeddings and the stroke token, integrated into a transformer-based latent diffusion model (LDM). These mechanisms explicitly provide the required amount of points or strokes to the model, enabling accurate point-level and stroke-level control in synthesized sketches while preserving recognizability. Outperforming state-of-the-art approaches, our method effectively generates diverse, non-rigid and human-like sketches. The proposed approach enables coherent sketch synthesis and excels in representing human habits with desired abstraction levels, highlighting the potential of sketch synthesis for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google