High-Quality Face Caricature via Style Translation

要約

風刺画は、人間の顔のユニークかつ微妙な特徴を強調する芸術的な肖像画の誇張された形式です。
最近、エンドツーエンドの深い技術の進歩により、顔の似顔絵を作成する際のスタイルと高度な誇張の両方を捉える上で心強い成果が得られています。
これらのアプローチのほとんどは、現実世界のアプリケーションにとってより実用的な漫画のような結果を生み出す傾向があります。
この研究では、コンピュータビジョン技術とGANモデルを使用し、現実世界での使用に適した高品質でペアのない顔似顔絵手法を提案しました。
似顔絵の生成と似顔絵の投影という 2 段階のプロセスを通じて、顔の特徴の誇張と外観の様式化を実現します。
似顔絵生成ステップでは、実際の画像から新しい似顔絵顔データセットを作成し、実際の似顔絵データセットと新しく作成された似顔絵データセットを使用して生成モデルをトレーニングします。
似顔絵の投影では、現実の顔と似顔絵の顔を投影するための事前トレーニング済みジェネレーターを使用して、現実の顔と似顔絵の顔でトレーニングされたエンコーダーを使用します。
エンコーダとジェネレータの潜在空間を使用して、実際の画像から似顔絵の顔まで段階的に顔の誇張を実行します。
私たちの投影では、入力画像の顔のアイデンティティ、属性、表情が保存されます。
また、老眼鏡やサングラスなどの顔の遮蔽も考慮され、モデルの堅牢性が向上します。
さらに、私たちのアプローチとさまざまな最先端の顔似顔絵手法との包括的な比較を実施し、私たちのプロセスの独自性と卓越したリアリズムを強調しました。

要約(オリジナル)

Caricature is an exaggerated form of artistic portraiture that accentuates unique yet subtle characteristics of human faces. Recently, advancements in deep end-to-end techniques have yielded encouraging outcomes in capturing both style and elevated exaggerations in creating face caricatures. Most of these approaches tend to produce cartoon-like results that could be more practical for real-world applications. In this study, we proposed a high-quality, unpaired face caricature method that is appropriate for use in the real world and uses computer vision techniques and GAN models. We attain the exaggeration of facial features and the stylization of appearance through a two-step process: Face caricature generation and face caricature projection. The face caricature generation step creates new caricature face datasets from real images and trains a generative model using the real and newly created caricature datasets. The Face caricature projection employs an encoder trained with real and caricature faces with the pretrained generator to project real and caricature faces. We perform an incremental facial exaggeration from the real image to the caricature faces using the encoder and generator’s latent space. Our projection preserves the facial identity, attributes, and expressions from the input image. Also, it accounts for facial occlusions, such as reading glasses or sunglasses, to enhance the robustness of our model. Furthermore, we conducted a comprehensive comparison of our approach with various state-of-the-art face caricature methods, highlighting our process’s distinctiveness and exceptional realism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google