One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field

要約

タイトル：デフォーマブルニューラルリディアンスフィールドを用いた高品質のトーキングヘッド合成

要約：

– トーキングヘッド生成は、元の画像のアイデンティティ情報を維持し、ドライブ画像の動きを模倣する顔を生成することを目的とする。
– 以前の研究は、主に2D表現に依存しており、大きな頭の回転が生じた場合、顔の歪みを避けることができない。最近の研究では、大きなポーズ変化に対応するために、明示的な3D構造表現または暗黙的なニューラルレンダリングを採用することが増えている。
– しかし、アイデンティティと表情の忠実度は望ましくなく、特に新しい視点合成においてはそれが問題である。
– この論文では、Deformable Neural Radiance Fieldを参考に、高精度で自由なビューのトーキングヘッド合成を実現するHiDe-NeRFを提案する。
– HiDe-NeRFは、3D動的シーンを標準的な外観フィールドと暗黙的な変形フィールドに表現する。前者は標準のソース顔を含み、後者はドライブポーズと表情をモデル化する。
– 特に、HiDe-NeRFは、(i)アイデンティティ表現性を向上させるために、マルチスケールボリューム特徴を活用した汎用の外観モジュールを設計し、顔の形状と細部を保持する。(ii)表現の精度を向上させるため、軽量の変形モジュールを提案することで、ポーズと表情を明示的に分離し、正確な表情モデリングを可能にする。
– 大規模な実験により、提案手法の結果が以前の研究よりも優れていることが示されている。プロジェクトページ：https://www.waytron.net/hidenerf/

要約(オリジナル)

Talking head generation aims to generate faces that maintain the identity information of the source image and imitate the motion of the driving image. Most pioneering methods rely primarily on 2D representations and thus will inevitably suffer from face distortion when large head rotations are encountered. Recent works instead employ explicit 3D structural representations or implicit neural rendering to improve performance under large pose changes. Nevertheless, the fidelity of identity and expression is not so desirable, especially for novel-view synthesis. In this paper, we propose HiDe-NeRF, which achieves high-fidelity and free-view talking-head synthesis. Drawing on the recently proposed Deformable Neural Radiance Fields, HiDe-NeRF represents the 3D dynamic scene into a canonical appearance field and an implicit deformation field, where the former comprises the canonical source face and the latter models the driving pose and expression. In particular, we improve fidelity from two aspects: (i) to enhance identity expressiveness, we design a generalized appearance module that leverages multi-scale volume features to preserve face shape and details; (ii) to improve expression preciseness, we propose a lightweight deformation module that explicitly decouples the pose and expression to enable precise expression modeling. Extensive experiments demonstrate that our proposed approach can generate better results than previous works. Project page: https://www.waytron.net/hidenerf/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI