AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural Voxels

要約

タイトル：AvatarMAV：モーション認識ニューラルボクセルを使用した高速3Dヘッドアバター再構築

要約：

– NeRFによる顔の再現が一般的に使用されているが、最近の方法では単眼のビデオから写真のような3Dヘッドアバターを復元することができる。
– NeRFベースの方法のトレーニングプロセスは、収束するまで多くの反復を必要とするMLPの効率が悪いため、かなり時間がかかる。
– この問題に対処するために、モーション認識ニューラルボクセルを使用した高速3Dヘッドアバター再構築法であるAvatarMAVを提案する。
– AvatarMAVは、ニューラルボクセルによるキャノニカルな外観と分離された表情モーションの両方をモデリングした最初のヘッドアバターである。
– 特に、モーション認識ニューラルボクセルは、複数の4Dテンソルの重み付き連結から生成される。4Dテンソルは、3DMM表情基底と意味的に1対1に対応し、3DMM表情係数と同じ重みを共有する。
– 新しい表現の恩恵を受けて、提案されたAvatarMAVは、純粋なPyTorchで実装された5分以内に写真のようなヘッドアバターを再現することができ、最先端の顔再現方法よりもはるかに速くなっている。

要約(オリジナル)

With NeRF widely used for facial reenactment, recent methods can recover photo-realistic 3D head avatar from just a monocular video. Unfortunately, the training process of the NeRF-based methods is quite time-consuming, as MLP used in the NeRF-based methods is inefficient and requires too many iterations to converge. To overcome this problem, we propose AvatarMAV, a fast 3D head avatar reconstruction method using Motion-Aware Neural Voxels. AvatarMAV is the first to model both the canonical appearance and the decoupled expression motion by neural voxels for head avatar. In particular, the motion-aware neural voxels is generated from the weighted concatenation of multiple 4D tensors. The 4D tensors semantically correspond one-to-one with 3DMM expression basis and share the same weights as 3DMM expression coefficients. Benefiting from our novel representation, the proposed AvatarMAV can recover photo-realistic head avatars in just 5 minutes (implemented with pure PyTorch), which is significantly faster than the state-of-the-art facial reenactment methods. Project page: https://www.liuyebin.com/avatarmav.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI