Semantics-Preserving Sketch Embedding for Face Generation

要約

画像から画像への変換タスクの最近の進歩により、スケッチから顔画像を生成する際に目覚ましい進歩が見られました。
ただし、特にさまざまな装飾ストロークが描かれている場合、既存の方法では、入力スケッチと意味論的および幾何学的に一致する詳細を含む画像を生成できないことがよくあります。
この問題に対処するために、新しい W-W+ エンコーダー アーキテクチャを導入して、W+ 空間の高い表現力と W 空間の意味制御性を活用します。
スケッチ セマンティック埋め込みの明示的な中間表現を導入します。
効果的なセマンティック監視のためのセマンティック フィーチャ マッチング ロスにより、スケッチの埋め込みにより、入力スケッチのセマンティクスが合成画像に正確に伝達されます。
さらに、ベクター化されたスケッチからセマンティクスを自動的に抽出する、斬新なスケッチ セマンティック解釈アプローチが設計されています。
合成されたスケッチと手描きのスケッチの両方で広範な実験を行い、その結果は、セマンティクスの保存と一般化の両方の能力において、既存のアプローチよりも優れた方法であることを示しています。

要約(オリジナル)

With recent advances in image-to-image translation tasks, remarkable progress has been witnessed in generating face images from sketches. However, existing methods frequently fail to generate images with details that are semantically and geometrically consistent with the input sketch, especially when various decoration strokes are drawn. To address this issue, we introduce a novel W-W+ encoder architecture to take advantage of the high expressive power of W+ space and semantic controllability of W space. We introduce an explicit intermediate representation for sketch semantic embedding. With a semantic feature matching loss for effective semantic supervision, our sketch embedding precisely conveys the semantics in the input sketches to the synthesized images. Moreover, a novel sketch semantic interpretation approach is designed to automatically extract semantics from vectorized sketches. We conduct extensive experiments on both synthesized sketches and hand-drawn sketches, and the results demonstrate the superiority of our method over existing approaches on both semantics-preserving and generalization ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google