EyeNeRF: A Hybrid Representation for Photorealistic Synthesis, Animation and Relighting of Human Eyes

要約

人々の高品質でアニメート可能で再照明可能な3Dアバターを作成する際のユニークな課題は、人間の目をモデリングすることです。
目の合成の課題は、1）目のさまざまなコンポーネントの適切な表現と、拡散、屈折、反射率の高い表面を表現できるコヒーレントな視点の合成のための眼周囲領域、2）環境からの皮膚と目の外観の解きほぐしを必要とするため複数あります。
新しい照明条件下でレンダリングできるような照明、および3）眼球運動および周囲の皮膚の変形をキャプチャして再注視を可能にする。
これらの課題は、伝統的に、高品質の結果を得るために高価で面倒なキャプチャ設定の使用を必要とし、それでも、眼の領域の全体的なモデリングはとらえどころのないままでした。
忠実度の高いキャプチャとフォトリアリスティックなアニメーション、ビューの合成、およびまばらなライトとカメラのセットのみを使用した目の領域の再照明を可能にする、新しいジオメトリと外観の表現を紹介します。
私たちのハイブリッド表現は、眼球の明示的なパラメトリック曲面モデルと、眼周囲領域および眼の内部の暗黙的な変形可能な体積表現を組み合わせたものです。
この新しいハイブリッドモデルは、その困難な顔の領域のさまざまな部分に対処するように設計されています-明示的な眼球表面により、角膜での屈折と高周波鏡面反射のモデリングが可能になりますが、暗黙的な表現は、
球面高調波であり、毛や拡散体積体などの非表面構造を表すことができます。これらは両方とも、明示的な表面モデルの課題です。
目の高解像度のクローズアップの場合、モデルは、目に見えない照明条件下で、斬新なビューから忠実度の高いアニメーションの視線を合成できることを示します。

要約(オリジナル)

A unique challenge in creating high-quality animatable and relightable 3D avatars of people is modeling human eyes. The challenge of synthesizing eyes is multifold as it requires 1) appropriate representations for the various components of the eye and the periocular region for coherent viewpoint synthesis, capable of representing diffuse, refractive and highly reflective surfaces, 2) disentangling skin and eye appearance from environmental illumination such that it may be rendered under novel lighting conditions, and 3) capturing eyeball motion and the deformation of the surrounding skin to enable re-gazing. These challenges have traditionally necessitated the use of expensive and cumbersome capture setups to obtain high-quality results, and even then, modeling of the eye region holistically has remained elusive. We present a novel geometry and appearance representation that enables high-fidelity capture and photorealistic animation, view synthesis and relighting of the eye region using only a sparse set of lights and cameras. Our hybrid representation combines an explicit parametric surface model for the eyeball with implicit deformable volumetric representations for the periocular region and the interior of the eye. This novel hybrid model has been designed to address the various parts of that challenging facial area – the explicit eyeball surface allows modeling refraction and high-frequency specular reflection at the cornea, whereas the implicit representation is well suited to model lower-frequency skin reflection via spherical harmonics and can represent non-surface structures such as hair or diffuse volumetric bodies, both of which are a challenge for explicit surface models. We show that for high-resolution close-ups of the eye, our model can synthesize high-fidelity animated gaze from novel views under unseen illumination conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google