FLAME-based Multi-View 3D Face Reconstruction

要約

現在、顔の 3D 再構成はさまざまな分野で幅広い応用が期待されていますが、研究はまだ開発段階にあります。
この論文では、マルチビュー トレーニング フレームワークと顔パラメトリック モデル Flame を組み合わせることにより、より優れた顔 3D 再構成品質を達成することを目指し、マルチビュー トレーニングおよびテスト モデル MFNet (Multi-view Flame Network) を提案します。
自己教師ありトレーニングフレームワークを構築し、マルチビューオプティカルフロー損失関数や顔面ランドマーク損失などの制約を実装し、最終的に完全なMFNetを取得します。
マルチビューオプティカルフローロスと可視マスクの革新的な実装を提案します。
私たちは、AFLW および facescape データセットでモデルをテストし、実際のシナリオを可能な限りシミュレートしながら、顔の写真を撮って 3D 顔を再構築し、良好な結果を達成しました。
私たちの研究は主に、顔のパラメトリック モデルとマルチビュー顔 3D 再構成を組み合わせる問題に取り組み、顔 3D 再構成の分野に貢献するための Flame ベースのマルチビュー トレーニングおよびテスト フレームワークの実装を検討しています。

要約(オリジナル)

At present, face 3D reconstruction has broad application prospects in various fields, but the research on it is still in the development stage. In this paper, we hope to achieve better face 3D reconstruction quality by combining multi-view training framework with face parametric model Flame, propose a multi-view training and testing model MFNet (Multi-view Flame Network). We build a self-supervised training framework and implement constraints such as multi-view optical flow loss function and face landmark loss, and finally obtain a complete MFNet. We propose innovative implementations of multi-view optical flow loss and the covisible mask. We test our model on AFLW and facescape datasets and also take pictures of our faces to reconstruct 3D faces while simulating actual scenarios as much as possible, which achieves good results. Our work mainly addresses the problem of combining parametric models of faces with multi-view face 3D reconstruction and explores the implementation of a Flame based multi-view training and testing framework for contributing to the field of face 3D reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google