Semantics-Preserving Sketch Embedding for Face Generation

要約

近年、画像間変換タスクの進歩に伴い、スケッチから顔画像を生成する手法が目覚ましく発展している。しかし、既存の手法では、特に様々な装飾ストロークが描かれたスケッチから、意味的・幾何学的に矛盾のない画像を生成できない場合が多い。この問題を解決するために、我々はW+空間の高い表現力とW空間の意味的制御性を利用した、新しいW-W+エンコーダアーキテクチャを導入する。スケッチの意味的埋め込みを行うために、明示的な中間表現を導入する。意味的な監視を効果的に行うための意味的特徴量のマッチングロスを用いて、我々のスケッチ埋め込みは入力スケッチに含まれる意味性を合成画像に正確に伝えることができる。さらに、ベクトル化されたスケッチから自動的にセマンティクスを抽出するために、新しいスケッチセマンティクス解釈アプローチを設計する。合成されたスケッチと手描きのスケッチの両方に対して広範な実験を行い、その結果、本手法が意味保存能力と汎化能力の両方において既存のアプローチより優れていることを示す。

要約(オリジナル)

With recent advances in image-to-image translation tasks, remarkable progress has been witnessed in generating face images from sketches. However, existing methods frequently fail to generate images with details that are semantically and geometrically consistent with the input sketch, especially when various decoration strokes are drawn. To address this issue, we introduce a novel W-W+ encoder architecture to take advantage of the high expressive power of W+ space and semantic controllability of W space. We introduce an explicit intermediate representation for sketch semantic embedding. With a semantic feature matching loss for effective semantic supervision, our sketch embedding precisely conveys the semantics in the input sketches to the synthesized images. Moreover, a novel sketch semantic interpretation approach is designed to automatically extract semantics from vectorized sketches. We conduct extensive experiments on both synthesized sketches and hand-drawn sketches, and the results demonstrate the superiority of our method over existing approaches on both semantics-preserving and generalization ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL