Controllable Dynamic Appearance for Neural 3D Portraits

要約

Neural Radiance Fields (NeRF) の最近の進歩により、頭のポーズ、表情、視線方向を制御して、動的なポートレート シーンを再構築し、蘇生することが可能になりました。
ただし、このようなモデルのトレーニングでは、変形領域全体にわたる測光の一貫性が前提となります。
顔は、頭のポーズや表情の変化に応じて変形するため、均等に照らされる必要があります。
ビデオのフレーム間でこのような測光の一貫性を維持することは、スタジオ環境であっても困難であるため、作成された蘇生可能なニューラル ポートレートは蘇生中にアーチファクトが発生しやすくなります。
この研究では、現実世界のキャプチャ条件で完全に制御可能な 3D ポートレートの作成を可能にするシステム CoDyNeRF を提案します。
CoDyNeRF は、予測された表面法線、顔の表情、頭のポーズの変形に条件付けされた正準空間内の動的外観モデルを介して、照明に依存する効果を近似することを学習します。
サーフェス法線の予測は、人間の頭の法線の粗い事前予測として機能する 3DMM 法線を使用してガイドされますが、頭のポーズや顔の表情の変化によって引き起こされる剛体および非剛体変形のため、法線を直接予測することは困難です。
トレーニングのためにスマートフォンで撮影した被験者の短いビデオのみを使用して、明示的な頭のポーズと表情の制御、およびリアルな照明効果を備えたポートレートシーンのフリービュー合成におけるこの方法の有効性を実証します。
プロジェクト ページは次の場所にあります: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html

要約(オリジナル)

Recent advances in Neural Radiance Fields (NeRFs) have made it possible to reconstruct and reanimate dynamic portrait scenes with control over head-pose, facial expressions and viewing direction. However, training such models assumes photometric consistency over the deformed region e.g. the face must be evenly lit as it deforms with changing head-pose and facial expression. Such photometric consistency across frames of a video is hard to maintain, even in studio environments, thus making the created reanimatable neural portraits prone to artifacts during reanimation. In this work, we propose CoDyNeRF, a system that enables the creation of fully controllable 3D portraits in real-world capture conditions. CoDyNeRF learns to approximate illumination dependent effects via a dynamic appearance model in the canonical space that is conditioned on predicted surface normals and the facial expressions and head-pose deformations. The surface normals prediction is guided using 3DMM normals that act as a coarse prior for the normals of the human head, where direct prediction of normals is hard due to rigid and non-rigid deformations induced by head-pose and facial expression changes. Using only a smartphone-captured short video of a subject for training, we demonstrate the effectiveness of our method on free view synthesis of a portrait scene with explicit head pose and expression controls, and realistic lighting effects. The project page can be found here: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html

arxiv情報

提供元, 利用サービス

arxiv.jp, Google