MoFaNeRF: Morphable Facial Neural Radiance Field

要約

フリービュー画像を、コード化された顔の形状、表情、外観のベクトル空間に、神経放射輝度フィールド、つまりMorphableFacialNeRFでマッピングするパラメトリックモデルを提案します。
具体的には、MoFaNeRFは、MLPへの入力として、コード化された顔の形状、表情、外観、および空間座標と視線方向を取得し、フォトリアリスティックな画像合成のために空間ポイントの輝きを出力します。
MoFaNeRFは、従来の3Dモーフィングモデル（3DMM）と比較して、目、口、あごひげの場合でも、写実的な顔の細部を直接合成する点で優れています。
また、入力された形状、表現、外観のコードを補間することで、連続的な顔のモーフィングを簡単に実現できます。
アイデンティティ固有の変調とテクスチャエンコーダを導入することにより、私たちのモデルは正確な測光の詳細を合成し、強力な表現能力を示します。
私たちのモデルは、画像ベースのフィッティング、ランダム生成、顔のリギング、顔の編集、新しいビューの合成など、複数のアプリケーションで強力な能力を示しています。
実験は、私たちの方法が以前のパラメトリックモデルよりも高い表現能力を達成し、いくつかのアプリケーションで競争力のあるパフォーマンスを達成することを示しています。
私たちの知る限りでは、私たちの仕事は、フィッティング、生成、操作に使用できる神経放射輝度フィールドに基づいて構築された最初の顔のパラメトリックモデルです。
コードとデータはhttps://github.com/zhuhao-nju/mofanerfで入手できます。

要約(オリジナル)

We propose a parametric model that maps free-view images into a vector space of coded facial shape, expression and appearance with a neural radiance field, namely Morphable Facial NeRF. Specifically, MoFaNeRF takes the coded facial shape, expression and appearance along with space coordinate and view direction as input to an MLP, and outputs the radiance of the space point for photo-realistic image synthesis. Compared with conventional 3D morphable models (3DMM), MoFaNeRF shows superiority in directly synthesizing photo-realistic facial details even for eyes, mouths, and beards. Also, continuous face morphing can be easily achieved by interpolating the input shape, expression and appearance codes. By introducing identity-specific modulation and texture encoder, our model synthesizes accurate photometric details and shows strong representation ability. Our model shows strong ability on multiple applications including image-based fitting, random generation, face rigging, face editing, and novel view synthesis. Experiments show that our method achieves higher representation ability than previous parametric models, and achieves competitive performance in several applications. To the best of our knowledge, our work is the first facial parametric model built upon a neural radiance field that can be used in fitting, generation and manipulation. The code and data is available at https://github.com/zhuhao-nju/mofanerf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google