ParticleNeRF: A Particle-Based Encoding for Online Neural Radiance Fields

要約

動的シーン用の既存の Neural Radiance Field (NeRF) は、視覚的な忠実度を重視したオフラインの方法ですが、私たちのホワイトペーパーでは、リアルタイムの適応性を優先するオンラインの使用事例を扱います。
ParticleNeRF は、200 ミリ秒ごとにオンラインで最新の表現を学習することにより、シーン ジオメトリの変化に動的に適応する新しいアプローチです。
ParticleNeRF は、新しい粒子ベースのパラメトリック エンコーディングを使用してこれを実現します。
特徴を空間内の粒子に結合し、測光再構成損失を粒子の位置勾配に逆伝播し、速度ベクトルとして解釈します。
衝突を処理する軽量の物理システムによって制御されるため、シーン ジオメトリの変化に合わせてフィーチャを自由に移動できます。
移動、回転、多関節、変形可能なオブジェクトを含むさまざまな動的シーンで ParticleNeRF を示します。
ParticleNeRF は初のオンライン ダイナミック NeRF であり、オンラインの制約があるダイナミック シーンで、強引なオンライン InstantNGP やその他のベースライン アプローチよりも視覚的な忠実度が高く、高速な適応性を実現します。
私たちのシステムのビデオは、プロジェクトのウェブサイト https://sites.google.com/view/particlenerf にあります。

要約(オリジナル)

While existing Neural Radiance Fields (NeRFs) for dynamic scenes are offline methods with an emphasis on visual fidelity, our paper addresses the online use case that prioritises real-time adaptability. We present ParticleNeRF, a new approach that dynamically adapts to changes in the scene geometry by learning an up-to-date representation online, every 200ms. ParticleNeRF achieves this using a novel particle-based parametric encoding. We couple features to particles in space and backpropagate the photometric reconstruction loss into the particles’ position gradients, which are then interpreted as velocity vectors. Governed by a lightweight physics system to handle collisions, this lets the features move freely with the changing scene geometry. We demonstrate ParticleNeRF on various dynamic scenes containing translating, rotating, articulated, and deformable objects. ParticleNeRF is the first online dynamic NeRF and achieves fast adaptability with better visual fidelity than brute-force online InstantNGP and other baseline approaches on dynamic scenes with online constraints. Videos of our system can be found at our project website https://sites.google.com/view/particlenerf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google