Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances

要約

多視点RGB映像から高品質で制御可能な3D人体モデルを作成することは重要な課題である。ニューラル放射場（NeRF）は、静的なシーンだけでなく動的なシーンの再構成と自由視点レンダリングにおいて、顕著な品質を実証してきた。人間のダイナミックなパフォーマンスを制御可能な合成に拡張することは、エキサイティングな研究課題を提起している。本論文では、人間の演技のポーズ依存レンダリングのための新しいNeRFベースのフレームワークを紹介する。我々のアプローチでは、放射輝度フィールドをSMPLボディメッシュの周囲にワープさせ、それによって新しいサーフェスアラインされた表現を作成する。私たちの表現は、ポーズ依存のアピアランスのために、視点に加えてNeRFに提供される骨格関節パラメータによってアニメーションさせることができます。これを実現するために、我々の表現には、メッシュテクスチャマップ上の対応する2D UV座標と、クエリーポイントとメッシュ間の距離が含まれる。マッピングの曖昧さやランダムな視覚的変化にもかかわらず効率的な学習を可能にするために、マッピングされた座標を精緻化する新しい再マッピング処理を導入する。実験により、本アプローチがノベルビューおよびノベルポーズ合成において高品質なレンダリングをもたらすことが実証された。

要約(オリジナル)

Creating high-quality controllable 3D human models from multi-view RGB videos poses a significant challenge. Neural radiance fields (NeRFs) have demonstrated remarkable quality in reconstructing and free-viewpoint rendering of static as well as dynamic scenes. The extension to a controllable synthesis of dynamic human performances poses an exciting research question. In this paper, we introduce a novel NeRF-based framework for pose-dependent rendering of human performances. In our approach, the radiance field is warped around an SMPL body mesh, thereby creating a new surface-aligned representation. Our representation can be animated through skeletal joint parameters that are provided to the NeRF in addition to the viewpoint for pose dependent appearances. To achieve this, our representation includes the corresponding 2D UV coordinates on the mesh texture map and the distance between the query point and the mesh. To enable efficient learning despite mapping ambiguities and random visual variations, we introduce a novel remapping process that refines the mapped coordinates. Experiments demonstrate that our approach results in high-quality renderings for novel-view and novel-pose synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL