High-Fidelity Eye Animatable Neural Radiance Fields for Human Face

要約

Neural Radiance Field (NeRF) を使用した顔のレンダリングは、コンピュータ ビジョンにおいて急速に発展している研究分野です。
最近の手法は主にアイデンティティや表情などの顔の属性の制御に焦点を当てていますが、さまざまな下流タスクにとって重要な眼球回転のモデリングという重要な側面が見落とされていることがよくあります。
この論文では、多視点画像から目の動きに敏感な顔 NeRF モデルを学習することを目的としています。
私たちは、目を意識した顔 NeRF 学習における 2 つの重要な課題、つまりトレーニングのために眼球の回転を効果的にキャプチャする方法と、眼球の回転を表現するための多様体を構築する方法に取り組みます。
これを達成するために、まず、マルチビューの一貫性を考慮して、確立されたパラメトリック顔モデルである FLAME をマルチビュー画像に適合させます。
続いて、新しい Dynamic Eye-aware NeRF (DeNeRF) を導入します。
DeNeRF は、さまざまなビューからの 3D ポイントを標準空間に変換して、統一された顔 NeRF モデルを学習します。
眼球の回転などの剛体変換や非剛体変換を含む、変換のための目の変形フィールドを設計します。
ETH-XGaze データセットで行われた実験を通じて、私たちのモデルが、新しい視野角の下でも、正確な眼球回転と非剛体眼周囲変形を備えた高忠実度の画像を生成できることを実証しました。
さらに、レンダリングされた画像を利用することで視線推定性能を効果的に向上できることを示します。

要約(オリジナル)

Face rendering using neural radiance fields (NeRF) is a rapidly developing research area in computer vision. While recent methods primarily focus on controlling facial attributes such as identity and expression, they often overlook the crucial aspect of modeling eyeball rotation, which holds importance for various downstream tasks. In this paper, we aim to learn a face NeRF model that is sensitive to eye movements from multi-view images. We address two key challenges in eye-aware face NeRF learning: how to effectively capture eyeball rotation for training and how to construct a manifold for representing eyeball rotation. To accomplish this, we first fit FLAME, a well-established parametric face model, to the multi-view images considering multi-view consistency. Subsequently, we introduce a new Dynamic Eye-aware NeRF (DeNeRF). DeNeRF transforms 3D points from different views into a canonical space to learn a unified face NeRF model. We design an eye deformation field for the transformation, including rigid transformation, e.g., eyeball rotation, and non-rigid transformation. Through experiments conducted on the ETH-XGaze dataset, we demonstrate that our model is capable of generating high-fidelity images with accurate eyeball rotation and non-rigid periocular deformation, even under novel viewing angles. Furthermore, we show that utilizing the rendered images can effectively enhance gaze estimation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google