UV Volumes for Real-time Rendering of Editable Free-view Human Performance

要約

ニューラルボリュームレンダリングは、没入型VR / ARアプリケーションの重要なタスクである、フリービューでの人間のパフォーマーの写実的なレンダリングを可能にします。
ただし、レンダリングプロセスでの計算コストが高いため、この方法は厳しく制限されています。
この問題を解決するために、人間のパフォーマーの編集可能なフリービュービデオをリアルタイムでレンダリングできる新しいアプローチであるUVボリュームを提案します。
高周波（つまり、滑らかでない）人間の外観を3Dボリュームから分離し、それらを2Dニューラルテクスチャスタック（NTS）にエンコードします。
滑らかなUVボリュームにより、はるかに小さく浅いニューラルネットワークで、2D NTSで詳細な外観をキャプチャしながら、3Dで密度とテクスチャ座標を取得できます。
編集しやすくするために、パラメータ化された人間のモデルと滑らかなテクスチャ座標の間のマッピングにより、新しいポーズや形状をより一般化することができます。
さらに、NTSを使用すると、再テクスチャリングなどの興味深いアプリケーションが可能になります。
CMU Panoptic、ZJU Mocap、およびH36Mデータセットに関する広範な実験により、私たちのモデルは、最先端の方法に匹敵するフォトリアリズムで、平均して960*540の画像を30FPSでレンダリングできることが示されています。
プロジェクトと補足資料はhttps://github.com/fanegg/UV-Volumesで入手できます。

要約(オリジナル)

Neural volume rendering enables photo-realistic renderings of a human performer in free-view, a critical task in immersive VR/AR applications. But the practice is severely limited by high computational costs in the rendering process. To solve this problem, we propose the UV Volumes, a new approach that can render an editable free-view video of a human performer in realtime. It separates the high-frequency (i.e., non-smooth) human appearance from the 3D volume, and encodes them into 2D neural texture stacks (NTS). The smooth UV volumes allow much smaller and shallower neural networks to obtain densities and texture coordinates in 3D while capturing detailed appearance in 2D NTS. For editability, the mapping between the parameterized human model and the smooth texture coordinates allows us a better generalization on novel poses and shapes. Furthermore, the use of NTS enables interesting applications, e.g., retexturing. Extensive experiments on CMU Panoptic, ZJU Mocap, and H36M datasets show that our model can render 960 * 540 images in 30FPS on average with comparable photo-realism to state-of-the-art methods. The project and supplementary materials are available at https://github.com/fanegg/UV-Volumes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google