BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis

要約

ビデオからフォトリアリスティックな 4D 人頭アバターを合成することは、VR/AR、テレプレゼンス、ビデオ ゲーム アプリケーションにとって不可欠です。
既存の Neural Radiance Fields (NeRF) ベースの手法は忠実度の高い結果を実現しますが、計算コストが高いため、リアルタイム アプリケーションでの使用は制限されます。
この制限を克服するために、標準ポリゴン ラスター化パイプラインで展開可能な、リアルタイム ニューラル ヘッド アバター合成の新しい表現である BakedAvatar を導入します。
私たちのアプローチは、学習された頭部の等値面から変形可能な多層メッシュを抽出し、効率的なラスタライゼーションのために静的テクスチャにベイクできる表情、ポーズ、およびビューに依存する外観を計算します。
したがって、ニューラルヘッドアバター合成のための 3 段階のパイプラインを提案します。これには、連続変形、多様体、および放射フィールドの学習、層状メッシュとテクスチャの抽出、および差分ラスタライゼーションによるテクスチャの詳細の微調整が含まれます。
実験結果は、私たちの表現が、必要な推論時間を大幅に短縮しながら、他の最先端の方法と同等の品質の合成結果を生成することを示しています。
さらに、ビュー合成、顔の再現、表情編集、ポーズ編集など、単眼ビデオからのさまざまな頭部アバター合成結果をすべてインタラクティブなフレーム レートで紹介します。

要約(オリジナル)

Synthesizing photorealistic 4D human head avatars from videos is essential for VR/AR, telepresence, and video game applications. Although existing Neural Radiance Fields (NeRF)-based methods achieve high-fidelity results, the computational expense limits their use in real-time applications. To overcome this limitation, we introduce BakedAvatar, a novel representation for real-time neural head avatar synthesis, deployable in a standard polygon rasterization pipeline. Our approach extracts deformable multi-layer meshes from learned isosurfaces of the head and computes expression-, pose-, and view-dependent appearances that can be baked into static textures for efficient rasterization. We thus propose a three-stage pipeline for neural head avatar synthesis, which includes learning continuous deformation, manifold, and radiance fields, extracting layered meshes and textures, and fine-tuning texture details with differential rasterization. Experimental results demonstrate that our representation generates synthesis results of comparable quality to other state-of-the-art methods while significantly reducing the inference time required. We further showcase various head avatar synthesis results from monocular videos, including view synthesis, face reenactment, expression editing, and pose editing, all at interactive frame rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google