FDNeRF: Few-shot Dynamic Neural Radiance Fields for Face Reconstruction and Expression Editing

要約

我々は、少数の動的画像に基づいて3D顔の再構成と表情編集が可能な、初めてのNeRFベースの手法であるFew-shot Dynamic Neural Radiance Field (FDNeRF) を提案する。既存の動的NeRFは、入力に高密度の画像を必要とし、単一のIDに対してのみモデル化できるのに対し、本手法は、数ショットの入力で異なる人物にまたがる顔の再構成を可能にします。本手法は、静止画のモデリングを目的とした従来の少数ショットNeRFと比較し、ビューインシステントな動的入力を受け付け、任意の表情編集、すなわち、入力以外の新しい表情を持つ顔を生成することが可能である。このような動的入力の矛盾を処理するために、2次元特徴空間において表情条件付きワーピング（CFW）モジュールを導入し、アイデンティティ適応的かつ3次元制約のあるワーピングを行う。その結果、異なる表情の特徴は、目標とする特徴に変換される。次に、これらのビューコンシステントな特徴量に基づいてラディアンスフィールドを構築し、ボリュームレンダリングを用いて、モデル化された顔の新規ビューを合成する。本手法は、定量的・定性的評価を含む広範な実験により、3次元顔復元と表情編集の両タスクにおいて、既存の動的NeRFや少数ショットNeRFを凌駕することを実証しています。本手法のコードとモデルは、採用され次第、公開される予定です。

要約(オリジナル)

We propose a Few-shot Dynamic Neural Radiance Field (FDNeRF), the first NeRF-based method capable of reconstruction and expression editing of 3D faces based on a small number of dynamic images. Unlike existing dynamic NeRFs that require dense images as input and can only be modeled for a single identity, our method enables face reconstruction across different persons with few-shot inputs. Compared to state-of-the-art few-shot NeRFs designed for modeling static scenes, the proposed FDNeRF accepts view-inconsistent dynamic inputs and supports arbitrary facial expression editing, i.e., producing faces with novel expressions beyond the input ones. To handle the inconsistencies between dynamic inputs, we introduce a well-designed conditional feature warping (CFW) module to perform expression conditioned warping in 2D feature space, which is also identity adaptive and 3D constrained. As a result, features of different expressions are transformed into the target ones. We then construct a radiance field based on these view-consistent features and use volumetric rendering to synthesize novel views of the modeled faces. Extensive experiments with quantitative and qualitative evaluation demonstrate that our method outperforms existing dynamic and few-shot NeRFs on both 3D face reconstruction and expression editing tasks. Our code and model will be available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL