ParticleNeRF: A Particle-Based Encoding for Online Neural Radiance Fields in Dynamic Scenes

要約

Neural Radiance Fields (NeRFs) は、イメージから (通常は静的な) 環境の暗黙的な表現を学習します。
私たちの論文では、NeRF を拡張して動的なシーンをオンラインで処理できるようにしています。
私たちは、発生した環境のジオメトリの変化に適応し、350 ミリ秒ごとに新しい最新の表現を学習する ParticleNeRF を提案します。
ParticleNeRF は、他の NeRF フレームワークよりもはるかに高い忠実度で動的環境の現在の状態を表すことができます。
これを実現するために、新しい粒子ベースのパラメトリック エンコーディングを導入します。これにより、中間の NeRF 機能 (現在は空間内の粒子に結合されています) が動的ジオメトリと共に移動できるようになります。
これは、測光再構成損失を粒子の位置に逆伝播することによって可能になります。
位置勾配は粒子速度として解釈され、位置ベースのダイナミクス (PBS) 物理システムを使用して位置に統合されます。
NeRF の定式化に PBS を導入することで、粒子の動きに衝突制約を追加できるようになり、将来、剛体や変形体など、システムに他の運動の優先順位を追加する機会が生まれます。

要約(オリジナル)

Neural Radiance Fields (NeRFs) learn implicit representations of – typically static – environments from images. Our paper extends NeRFs to handle dynamic scenes in an online fashion. We propose ParticleNeRF that adapts to changes in the geometry of the environment as they occur, learning a new up-to-date representation every 350 ms. ParticleNeRF can represent the current state of dynamic environments with much higher fidelity as other NeRF frameworks. To achieve this, we introduce a new particle-based parametric encoding, which allows the intermediate NeRF features – now coupled to particles in space – to move with the dynamic geometry. This is possible by backpropagating the photometric reconstruction loss into the position of the particles. The position gradients are interpreted as particle velocities and integrated into positions using a position-based dynamics (PBS) physics system. Introducing PBS into the NeRF formulation allows us to add collision constraints to the particle motion and creates future opportunities to add other movement priors into the system, such as rigid and deformable body

arxiv情報

提供元, 利用サービス

arxiv.jp, Google