Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial Decomposition

要約

動的なニューラル ラディアンス フィールド (NeRF) は、話しているポートレートの忠実度の高い 3D モデリングで成功を収めていますが、トレーニングと推論の速度が遅いため、潜在的な使用が著しく妨げられています。
このホワイトペーパーでは、グリッドベースの NeRF の最近の成功を活用することで、話しているポートレートのリアルタイム合成とより高速な収束を可能にする効率的な NeRF ベースのフレームワークを提案します。
私たちの重要な洞察は、本質的に高次元の話している肖像画の表現を 3 つの低次元の特徴グリッドに分解することです。
特に、Decomposed Audio-spatial Encoding Module は、3D 空間グリッドと 2D オーディオ グリッドを使用してダイナミック ヘッドをモデル化します。
胴体は、軽量の疑似 3D 変形可能モジュール内の別の 2D グリッドで処理されます。
どちらのモジュールも、優れたレンダリング品質を前提とした効率性に重点を置いています。
広範な実験により、私たちの方法が、以前の方法と比較して非常に効率的でありながら、現実的で音声と唇が同期した話しているポートレートビデオを生成できることが実証されています。

要約(オリジナル)

While dynamic Neural Radiance Fields (NeRF) have shown success in high-fidelity 3D modeling of talking portraits, the slow training and inference speed severely obstruct their potential usage. In this paper, we propose an efficient NeRF-based framework that enables real-time synthesizing of talking portraits and faster convergence by leveraging the recent success of grid-based NeRF. Our key insight is to decompose the inherently high-dimensional talking portrait representation into three low-dimensional feature grids. Specifically, a Decomposed Audio-spatial Encoding Module models the dynamic head with a 3D spatial grid and a 2D audio grid. The torso is handled with another 2D grid in a lightweight Pseudo-3D Deformable Module. Both modules focus on efficiency under the premise of good rendering quality. Extensive experiments demonstrate that our method can generate realistic and audio-lips synchronized talking portrait videos, while also being highly efficient compared to previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google