UV Volumes for Real-time Rendering of Editable Free-view Human Performance

要約

ニューラル・ボリューム・レンダリングは、没入型VR/ARアプリケーションにおいて重要なタスクである、自由視点での人間のパフォーマーのフォトリアルなレンダリングを可能にします。しかし、レンダリングプロセスにおける高い計算コストによって、その実践は厳しく制限されています。この問題を解決するために、我々は、編集可能な人間のパフォーマーのフリービュー映像をリアルタイムでレンダリングできる新しいアプローチであるUV Volumesを提案します。これは、高周波数（すなわち、非平滑）の人間の外観を3Dボリュームから分離し、それらを2Dニューラルテクスチャスタック（NTS）に符号化します。滑らかなUVボリュームにより、より小さく浅いニューラルネットワークが3Dで密度とテクスチャ座標を取得し、2DのNTSで詳細な外観をキャプチャすることができます。編集しやすいように、パラメータ化された人体モデルと滑らかなテクスチャ座標の間のマッピングは、新しいポーズや形状に対するより良い一般化を可能にします。さらに、NTSを使用することで、リテクスチャリングなどの興味深い応用が可能になります。CMU Panoptic、ZJU Mocap、H36Mデータセットでの広範な実験により、我々のモデルは平均30FPSで960 x 540画像をレンダリングでき、最先端の方法と同等のフォトリアリズムを実現できることが示されました。プロジェクトと補足資料は、https://fanegg.github.io/UV-Volumes で公開されています。

要約(オリジナル)

Neural volume rendering enables photo-realistic renderings of a human performer in free-view, a critical task in immersive VR/AR applications. But the practice is severely limited by high computational costs in the rendering process. To solve this problem, we propose the UV Volumes, a new approach that can render an editable free-view video of a human performer in real-time. It separates the high-frequency (i.e., non-smooth) human appearance from the 3D volume, and encodes them into 2D neural texture stacks (NTS). The smooth UV volumes allow much smaller and shallower neural networks to obtain densities and texture coordinates in 3D while capturing detailed appearance in 2D NTS. For editability, the mapping between the parameterized human model and the smooth texture coordinates allows us a better generalization on novel poses and shapes. Furthermore, the use of NTS enables interesting applications, e.g., retexturing. Extensive experiments on CMU Panoptic, ZJU Mocap, and H36M datasets show that our model can render 960 x 540 images in 30FPS on average with comparable photo-realism to state-of-the-art methods. The project and supplementary materials are available at https://fanegg.github.io/UV-Volumes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL