Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar

要約

AR/VR およびビデオ会議アプリケーションで快適で没入型のエクスペリエンスを確保するには、写真のようにリアルで動的に動く人間の頭をレンダリングすることが重要です。
しかし、既存の方法では、困難な顔領域 (口の内部、目、髪/ひげなど) をモデル化するのに苦労することが多く、非現実的で不鮮明な結果が得られます。
この論文では、ニューラル ポイント表現とニューラル ボリューム レンダリング プロセスを採用し、メッシュベースのアプローチによって課せられる事前定義された接続性と厳密な対応を破棄する方法である {\fullname} ({\name}) を提案します。
具体的には、高解像度の UV ディスプレイスメント マップを介してニューラル ポイントがターゲット表現の表面の周囲に戦略的に制限され、モデリング能力の向上とより正確な制御が実現されます。
レンダリングとトレーニングの効率を向上させるために、パッチごとの深度ガイド (シェーディング ポイント) サンプリング戦略、軽量の放射デコード プロセス、トレーニング中のグリッド エラー パッチ (GEP) レイ サンプリング戦略という 3 つの技術革新を導入しました。
設計上、私たちの {\name} は、アバターをアニメーション化する際の正確な表現制御を確保しながら、トポロジー的に変化する領域や薄い構造を処理する能力がより優れています。
Multiface データセットの 3 人の被験者に対して行われた実験では、特に困難な顔領域の処理において、以前の最先端の手法を上回る、私たちの設計の有効性が実証されました。

要約(オリジナル)

Rendering photorealistic and dynamically moving human heads is crucial for ensuring a pleasant and immersive experience in AR/VR and video conferencing applications. However, existing methods often struggle to model challenging facial regions (e.g., mouth interior, eyes, hair/beard), resulting in unrealistic and blurry results. In this paper, we propose {\fullname} ({\name}), a method that adopts the neural point representation as well as the neural volume rendering process and discards the predefined connectivity and hard correspondence imposed by mesh-based approaches. Specifically, the neural points are strategically constrained around the surface of the target expression via a high-resolution UV displacement map, achieving increased modeling capacity and more accurate control. We introduce three technical innovations to improve the rendering and training efficiency: a patch-wise depth-guided (shading point) sampling strategy, a lightweight radiance decoding process, and a Grid-Error-Patch (GEP) ray sampling strategy during training. By design, our {\name} is better equipped to handle topologically changing regions and thin structures while also ensuring accurate expression control when animating avatars. Experiments conducted on three subjects from the Multiface dataset demonstrate the effectiveness of our designs, outperforming previous state-of-the-art methods, especially in handling challenging facial regions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google