ManVatar : Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural Voxels

要約

NeRF は顔の再現に広く使用されているため、最近の方法では、単眼ビデオから写真のようにリアルな 3D ヘッド アバターを復元できます。
残念ながら、NeRF ベースの方法で使用される MLP は非効率的であり、収束するためにあまりにも多くの反復を必要とするため、NeRF ベースの方法のトレーニング プロセスは非常に時間がかかります。
この問題を克服するために、モーション認識ニューラル ボクセルを使用した高速 3D ヘッド アバター再構築方法である ManVatar を提案します。
ManVatar は、頭のアバターの正規の外観から表情の動きを切り離し、ニューラル ボクセルによって表情の動きをモデル化した最初の製品です。
特に、モーション認識ニューラル ボクセルは、複数の 4D テンソルの加重連結から生成されます。
4D テンソルは意味的に 3DMM 表現ベースと 1 対 1 で対応し、3DMM 表現係数と同じ重みを共有します。
私たちの新しい表現の恩恵を受けて、提案された ManVatar は写真のようにリアルな頭部アバターをわずか 5 分 (純粋な PyTorch で実装) で復元できます。これは、最先端の顔の再現方法よりも大幅に高速です。

要約(オリジナル)

With NeRF widely used for facial reenactment, recent methods can recover photo-realistic 3D head avatar from just a monocular video. Unfortunately, the training process of the NeRF-based methods is quite time-consuming, as MLP used in the NeRF-based methods is inefficient and requires too many iterations to converge. To overcome this problem, we propose ManVatar, a fast 3D head avatar reconstruction method using Motion-Aware Neural Voxels. ManVatar is the first to decouple expression motion from canonical appearance for head avatar, and model the expression motion by neural voxels. In particular, the motion-aware neural voxels is generated from the weighted concatenation of multiple 4D tensors. The 4D tensors semantically correspond one-to-one with 3DMM expression bases and share the same weights as 3DMM expression coefficients. Benefiting from our novel representation, the proposed ManVatar can recover photo-realistic head avatars in just 5 minutes (implemented with pure PyTorch), which is significantly faster than the state-of-the-art facial reenactment methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google