HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and Dynamic Details

要約

3D モーファブル モデル (3DMM) は、1 つの画像から忠実でアニメーション化可能な 3D 顔面を再構築する大きな可能性を示しています。
顔の表面は、粗い形状だけでなく、静的な詳細 (例: 個人固有の外観) と動的な詳細 (例: 表情によるしわ) の影響を受けます。
以前の作業では、画像レベルの監視を通じて静的および動的な詳細を分離するのに苦労しており、現実的ではない再構成につながっています。
この論文では、忠実度の高い 3D 顔再構成を目指し、静的および動的詳細を明示的にモデル化する HiFace を提案します。
具体的には、静的な詳細は、変位ベースの線形結合としてモデル化されますが、動的な詳細は、偏った式を持つ 2 つの変位マップの線形補間としてモデル化されます。
いくつかの損失関数を活用して、合成データセットと実世界のデータセットの両方を使用して粗い形状と細かい詳細を共同で学習します。これにより、HiFace はアニメート可能な詳細で忠実度の高い 3D 形状を再構築できます。
広範な定量的および定性的な実験により、HiFace が最先端の再構成品質を示し、静的および動的な詳細の両方を忠実に復元することが実証されています。
私たちのプロジェクト ページは https://project-hiface.github.io にあります。

要約(オリジナル)

3D Morphable Models (3DMMs) demonstrate great potential for reconstructing faithful and animatable 3D facial surfaces from a single image. The facial surface is influenced by the coarse shape, as well as the static detail (e,g., person-specific appearance) and dynamic detail (e.g., expression-driven wrinkles). Previous work struggles to decouple the static and dynamic details through image-level supervision, leading to reconstructions that are not realistic. In this paper, we aim at high-fidelity 3D face reconstruction and propose HiFace to explicitly model the static and dynamic details. Specifically, the static detail is modeled as the linear combination of a displacement basis, while the dynamic detail is modeled as the linear interpolation of two displacement maps with polarized expressions. We exploit several loss functions to jointly learn the coarse shape and fine details with both synthetic and real-world datasets, which enable HiFace to reconstruct high-fidelity 3D shapes with animatable details. Extensive quantitative and qualitative experiments demonstrate that HiFace presents state-of-the-art reconstruction quality and faithfully recovers both the static and dynamic details. Our project page can be found at https://project-hiface.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google