HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars

要約

新しいニューラル レンダリング パイプライン、Hybrid Volumetric-Textural Rendering (HVTR) を提案します。これは、任意のポーズから効率的かつ高品質で仮想人間のアバターを合成します。
まず、人体表面の密な UV マニホールド上で、関節のある人間の動きをエンコードする方法を学びます。
複雑な動き (セルフ オクルージョンなど) を処理するために、UV マニホールドでエンコードされた情報を活用して、動的なポーズ調整されたニューラル ラディアンス フィールドに基づいて 3D ボリューム表現を構築します。
これにより、トポロジを変更して 3D ジオメトリを表現できますが、ボリューム レンダリングは計算量が多くなります。
したがって、低解像度で効率的にレンダリングできる、ポーズ調整されたダウンサンプリングされたニューラル放射輝度フィールド (PD-NeRF) を使用した大まかな体積表現のみを使用します。
さらに、画像空間でレンダリングされたボリューム機能と融合される 2D テクスチャ機能を学習します。
このアプローチの主な利点は、高速な GAN ベースのテクスチャ レンダラーによって、融合した特徴を高解像度で高品質のアバターに変換できることです。
ハイブリッド レンダリングにより、HVTR が複雑なモーションを処理し、ユーザーが制御するポーズ/形状、さらにはゆるい服の下で高品質のアバターをレンダリングし、最も重要なこととして、推論時に効率的であることを実証します。
私たちの実験結果は、最先端の定量的結果も示しています。

要約(オリジナル)

We propose a novel neural rendering pipeline, Hybrid Volumetric-Textural Rendering (HVTR), which synthesizes virtual human avatars from arbitrary poses efficiently and at high quality. First, we learn to encode articulated human motions on a dense UV manifold of the human body surface. To handle complicated motions (e.g., self-occlusions), we then leverage the encoded information on the UV manifold to construct a 3D volumetric representation based on a dynamic pose-conditioned neural radiance field. While this allows us to represent 3D geometry with changing topology, volumetric rendering is computationally heavy. Hence we employ only a rough volumetric representation using a pose-conditioned downsampled neural radiance field (PD-NeRF), which we can render efficiently at low resolutions. In addition, we learn 2D textural features that are fused with rendered volumetric features in image space. The key advantage of our approach is that we can then convert the fused features into a high-resolution, high-quality avatar by a fast GAN-based textural renderer. We demonstrate that hybrid rendering enables HVTR to handle complicated motions, render high-quality avatars under user-controlled poses/shapes and even loose clothing, and most importantly, be efficient at inference time. Our experimental results also demonstrate state-of-the-art quantitative results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google