FNeVR: Neural Volume Rendering for Face Animation

要約

コンピューター ビジョンで最もホットなトピックの 1 つであるフェイス アニメーションは、生成モデルの助けを借りて有望なパフォーマンスを達成しました。
ただし、洗練された動きの変形と複雑な顔の詳細モデリングにより、同一性を維持し、写真のようにリアルな画像を生成することは依然として重要な課題です。
これらの問題に対処するために、Face Neural Volume Rendering (FNeVR) ネットワークを提案し、統一されたフレームワークで 2D モーション ワーピングと 3D ボリューム レンダリングの可能性を十分に探ります。
FNeVR では、3D Face Volume Rendering (FVR) モジュールを設計して、画像レンダリングの顔の詳細を強化します。
具体的には、最初に適切に設計されたアーキテクチャで 3D 情報を抽出し、次に効率的なレンダリングのために直交適応レイサンプリング モジュールを導入します。
また、FNeVR が顔のポーズをシンプルかつ効果的な方法で編集できるように、軽量のポーズ エディターも設計しています。
広範な実験により、当社の FNeVR は、広く使用されているトーキングヘッド ベンチマークで最高の全体的な品質とパフォーマンスを得ることが示されています。

要約(オリジナル)

Face animation, one of the hottest topics in computer vision, has achieved a promising performance with the help of generative models. However, it remains a critical challenge to generate identity preserving and photo-realistic images due to the sophisticated motion deformation and complex facial detail modeling. To address these problems, we propose a Face Neural Volume Rendering (FNeVR) network to fully explore the potential of 2D motion warping and 3D volume rendering in a unified framework. In FNeVR, we design a 3D Face Volume Rendering (FVR) module to enhance the facial details for image rendering. Specifically, we first extract 3D information with a well-designed architecture, and then introduce an orthogonal adaptive ray-sampling module for efficient rendering. We also design a lightweight pose editor, enabling FNeVR to edit the facial pose in a simple yet effective way. Extensive experiments show that our FNeVR obtains the best overall quality and performance on widely used talking-head benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google