AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural Voxels

要約

タイトル：AvatarMAV：モーションアウェアニューラルボクセルを使用した高速な3Dヘッドアバター再構築

要約：
– NeRFを使用して顔の再演出が広く使用されている中、最近の方法ではモノクルビデオから写真のような3Dヘッドアバターを回復することができます。
– ただし、NeRFベースの方法のトレーニングプロセスは、NeRFベースの方法で使用されるMLPが効率が悪く、収束するまでに多くの反復が必要であるため、かなり時間がかかります。
– この問題を解決するために、我々はMotion-Aware Neural Voxelsを使用した高速な3Dヘッドアバター再構築法のAvatarMAVを提案します。
– AvatarMAVは、ヘッドアバターの規範的な外観と分離された表現動作を神経ボクセルでモデル化する最初の手法です。
– 特に、モーションアウェアニューラルボクセルは、複数の4Dテンソルの重み付け連結から生成されます。 4Dテンソルは3DMM表現基底と意味的に1対1対応し、3DMM表現係数と同じ重みを共有します。
– 提案されたAvatarMAVは、私たちの革新的な表現の恩恵を受けて、純粋なPyTorchを使用してわずか5分で写真のようなヘッドアバターを回復できます。これは、最先端の顔の再演出方法よりもはるかに速くなります。プロジェクトページ：https://www.liuyebin.com/avatarmav。

要約(オリジナル)

With NeRF widely used for facial reenactment, recent methods can recover photo-realistic 3D head avatar from just a monocular video. Unfortunately, the training process of the NeRF-based methods is quite time-consuming, as MLP used in the NeRF-based methods is inefficient and requires too many iterations to converge. To overcome this problem, we propose AvatarMAV, a fast 3D head avatar reconstruction method using Motion-Aware Neural Voxels. AvatarMAV is the first to model both the canonical appearance and the decoupled expression motion by neural voxels for head avatar. In particular, the motion-aware neural voxels is generated from the weighted concatenation of multiple 4D tensors. The 4D tensors semantically correspond one-to-one with 3DMM expression basis and share the same weights as 3DMM expression coefficients. Benefiting from our novel representation, the proposed AvatarMAV can recover photo-realistic head avatars in just 5 minutes (implemented with pure PyTorch), which is significantly faster than the state-of-the-art facial reenactment methods. Project page: https://www.liuyebin.com/avatarmav.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI