HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details

要約

3D モーファブル モデル (3DMM) は、単一の画像から忠実でアニメーション可能な 3D 顔の表面を再構築する大きな可能性を示しています。
顔の表面は、粗い形状だけでなく、静的な詳細 (例: 人特有の外観) および動的詳細 (例: 表情によるしわ) の影響を受けます。
これまでの研究では、画像レベルの監視を通じて静的詳細と動的な詳細を切り離すのに苦労しており、現実的ではない再構築につながりました。
この論文では、高忠実度の 3D 顔再構成を目指し、静的および動的詳細を明示的にモデル化する HiFace を提案します。
具体的には、静的詳細は変位基準の線形結合としてモデル化され、動的詳細は偏光表現による 2 つの変位マップの線形補間としてモデル化されます。
いくつかの損失関数を利用して、合成データセットと実世界のデータセットの両方を使用して粗い形状と細かい詳細を共同学習することで、HiFace がアニメーション化可能な詳細を備えた高忠実度の 3D 形状を再構築できるようになります。
広範な定量的および定性的な実験により、HiFace が最先端の再構成品質を提供し、静的および動的詳細の両方を忠実に復元することが実証されました。
私たちのプロジェクト ページは https://project-hiface.github.io にあります。

要約(オリジナル)

3D Morphable Models (3DMMs) demonstrate great potential for reconstructing faithful and animatable 3D facial surfaces from a single image. The facial surface is influenced by the coarse shape, as well as the static detail (e,g., person-specific appearance) and dynamic detail (e.g., expression-driven wrinkles). Previous work struggles to decouple the static and dynamic details through image-level supervision, leading to reconstructions that are not realistic. In this paper, we aim at high-fidelity 3D face reconstruction and propose HiFace to explicitly model the static and dynamic details. Specifically, the static detail is modeled as the linear combination of a displacement basis, while the dynamic detail is modeled as the linear interpolation of two displacement maps with polarized expressions. We exploit several loss functions to jointly learn the coarse shape and fine details with both synthetic and real-world datasets, which enable HiFace to reconstruct high-fidelity 3D shapes with animatable details. Extensive quantitative and qualitative experiments demonstrate that HiFace presents state-of-the-art reconstruction quality and faithfully recovers both the static and dynamic details. Our project page can be found at https://project-hiface.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google