Neural Parametric Gaussians for Monocular Non-Rigid Object Reconstruction

要約

単眼ビデオから動的オブジェクトを再構成することは、制約が非常に不十分で困難な問題であり、最近の研究ではさまざまな方向からこの問題に取り組んでいます。
ただし、この問題の不適切な性質により、トレーニング ビューとは大幅に異なるカメラ位置から一貫した高品質の新しいビューを提供できる解決策はありませんでした。
この研究では、ニューラル パラメトリック ガウシアン (NPG) を導入し、2 段階のアプローチを課すことでこの課題に取り組みます。まず、低ランクのニューラル変形モデルを適合させ、次にそれを非剛体再構成の正則化として使用します。
第2段。
最初のステージでは、新しいビューで一貫性が保たれるようにオブジェクトの変形を学習します。
第 2 段階では、粗いモデルによって駆動される 3D ガウスを最適化することで、高い再構成品質が得られます。
この目的を達成するために、ローカル 3D ガウス表現を導入します。この表現では、時間的に共有されたガウスがローカル指向のボリュームに固定され、ローカル指向のボリュームによって変形されます。
結果として得られる結合モデルは放射輝度フィールドとしてレンダリングでき、その結果、非剛体変形オブジェクトの高品質でフォトリアリスティックな再構築が可能になります。
特にマルチビュー キューがほとんどない困難なシナリオにおいて、NPG が以前の作品と比較して優れた結果を達成することを実証します。

要約(オリジナル)

Reconstructing dynamic objects from monocular videos is a severely underconstrained and challenging problem, and recent work has approached it in various directions. However, owing to the ill-posed nature of this problem, there has been no solution that can provide consistent, high-quality novel views from camera positions that are significantly different from the training views. In this work, we introduce Neural Parametric Gaussians (NPGs) to take on this challenge by imposing a two-stage approach: first, we fit a low-rank neural deformation model, which then is used as regularization for non-rigid reconstruction in the second stage. The first stage learns the object’s deformations such that it preserves consistency in novel views. The second stage obtains high reconstruction quality by optimizing 3D Gaussians that are driven by the coarse model. To this end, we introduce a local 3D Gaussian representation, where temporally shared Gaussians are anchored in and deformed by local oriented volumes. The resulting combined model can be rendered as radiance fields, resulting in high-quality photo-realistic reconstructions of the non-rigidly deforming objects. We demonstrate that NPGs achieve superior results compared to previous works, especially in challenging scenarios with few multi-view cues.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google