ParticleNeRF: Particle Based Encoding for Online Neural Radiance Fields in Dynamic Scenes

要約

Neural Radiance Fields (NeRF)は、微分可能なレンダリング手順を用いて、画像から環境の表現を学習する、座標ベースの3Dシーンの暗黙の表現である。本論文では、NeRFを拡張し、オンライン方式で動的なシーンを扱えるようにする。この拡張は、粒子ベースのパラメトリックエンコーディングを導入することにより、中間NeRF特徴（空間内の粒子に結合された）を動的ジオメトリとともに移動させることにより行われる。NeRFの光量再構成の損失を、粒子が関連する特徴に加えて、粒子の位置にもバックプロパゲートする。位置勾配は粒子速度として解釈され、位置ベースダイナミクス（PBS）物理システムを用いて位置に統合されます。NeRFの定式化にPBSを導入することで、粒子運動に衝突制約を加えることができ、将来的には剛体や変形体の制約など、他の運動プリオータをシステムに加える機会を作ることができます。我々は、特徴が空間内で動くことを許可することによって、変化するシーンにNeRFを漸進的に適応させることを示す。

要約(オリジナル)

Neural Radiance Fields (NeRFs) are coordinate-based implicit representations of 3D scenes that use a differentiable rendering procedure to learn a representation of an environment from images. This paper extends NeRFs to handle dynamic scenes in an online fashion. We do so by introducing a particle-based parametric encoding, which allows the intermediate NeRF features — now coupled to particles in space — to be moved with the dynamic geometry. We backpropagate the NeRF’s photometric reconstruction loss into the position of the particles in addition to the features they are associated with. The position gradients are interpreted as particle velocities and integrated into positions using a position-based dynamics (PBS) physics system. Introducing PBS into the NeRF formulation allows us to add collision constraints to the particle motion and creates future opportunities to add other movement priors into the system such as rigid and deformable body constraints. We show that by allowing the features to move in space, we incrementally adapt the NeRF to the changing scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL