NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images

要約

マルチビュー イメージからのリアルな顔のレンダリングは、さまざまなコンピューター ビジョンおよびグラフィックス アプリケーションに役立ちます。
ただし、複雑な空間的に変化する反射率特性と顔の形状特性により、現在の研究で 3D 顔表現を忠実かつ効率的に復元することは依然として困難です。
この論文では、ニューラルレンダリング技術によって正確で物理的に意味のある基本的な3D表現を学習するための、新しい3D顔レンダリングモデル、つまりNeuFaceを紹介します。
ニューラル BRDF を物理ベースのレンダリングに自然に組み込み、洗練された顔のジオメトリと外観の手がかりを共同でキャプチャします。
具体的には、近似 BRDF 統合と、シンプルでありながら新しい低ランクの事前確率を導入します。これにより、あいまいさが効果的に低下し、フェイシャル BRDF のパフォーマンスが向上します。
広範な実験により、人間の顔のレンダリングにおける NeuFace の優位性と、一般的なオブジェクトへの適切な一般化機能が実証されています。

要約(オリジナル)

Realistic face rendering from multi-view images is beneficial to various computer vision and graphics applications. Due to the complex spatially-varying reflectance properties and geometry characteristics of faces, however, it remains challenging to recover 3D facial representations both faithfully and efficiently in the current studies. This paper presents a novel 3D face rendering model, namely NeuFace, to learn accurate and physically-meaningful underlying 3D representations by neural rendering techniques. It naturally incorporates the neural BRDFs into physically based rendering, capturing sophisticated facial geometry and appearance clues in a collaborative manner. Specifically, we introduce an approximated BRDF integration and a simple yet new low-rank prior, which effectively lower the ambiguities and boost the performance of the facial BRDFs. Extensive experiments demonstrate the superiority of NeuFace in human face rendering, along with a decent generalization ability to common objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google