Generalizable Face Landmarking Guided by Conditional Face Warping

要約

人間の顔のモデリング、編集、生成の重要なステップとして、顔ランドマークは画像から顔のキーポイントを抽出することを目的としています。
現実世界の顔画像 (アニメーションやゲームのアバターなど) はさまざまな方法で様式化されることが多いため、実際には一般化可能な顔ランドマーカーが必要です。
ただし、顔のスタイルが多様であることと、ラベル付けされた様式化された顔が不足しているため、一般化可能な顔のランドマークを実現することは困難です。
この研究では、ラベル付けされた実際の人間の顔とラベル付けされていない様式化された顔に基づいて一般化可能な顔ランドマーカーを学習するための、シンプルだが効果的なパラダイムを提案します。
私たちのメソッドは、条件付きフェイス ワーパーの主要なモジュールとしてフェイス ランドマーカーを学習します。
実際の顔画像と様式化された顔画像のペアが与えられると、条件付き顔ワーパーは実際の顔から様式化された顔へのワーピング フィールドを予測します。その中で、顔ランドマーカーはワーピング フィールドの終点を予測し、
対応する様式化された顔画像。
交互の最適化戦略を適用することで、様式化された顔と歪んだ実際の顔との間の不一致を最小化するための顔ランドマークを学習し、実際のランドマークと疑似ランドマークの両方の予測誤差を $ii)$ 最小化します。
さまざまなデータセットでの実験により、私たちの方法が顔ランドマークタスクにおいて既存の最先端のドメイン適応方法よりも優れており、一般化可能性がより優れた顔ランドマーカーが得られることが示されています。
コードは https://plustwo0.github.io/project-face-landmarker}{https://plustwo0.github.io/project-face-landmark で入手できます。

要約(オリジナル)

As a significant step for human face modeling, editing, and generation, face landmarking aims at extracting facial keypoints from images. A generalizable face landmarker is required in practice because real-world facial images, e.g., the avatars in animations and games, are often stylized in various ways. However, achieving generalizable face landmarking is challenging due to the diversity of facial styles and the scarcity of labeled stylized faces. In this study, we propose a simple but effective paradigm to learn a generalizable face landmarker based on labeled real human faces and unlabeled stylized faces. Our method learns the face landmarker as the key module of a conditional face warper. Given a pair of real and stylized facial images, the conditional face warper predicts a warping field from the real face to the stylized one, in which the face landmarker predicts the ending points of the warping field and provides us with high-quality pseudo landmarks for the corresponding stylized facial images. Applying an alternating optimization strategy, we learn the face landmarker to minimize $i)$ the discrepancy between the stylized faces and the warped real ones and $ii)$ the prediction errors of both real and pseudo landmarks. Experiments on various datasets show that our method outperforms existing state-of-the-art domain adaptation methods in face landmarking tasks, leading to a face landmarker with better generalizability. Code is available at https://plustwo0.github.io/project-face-landmarker}{https://plustwo0.github.io/project-face-landmarker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google