PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification

要約

ビデオからのシステム識別 (オブジェクトの物理パラメーターの推定) に対する既存のアプローチは、既知のオブジェクトの形状を前提としています。
これにより、オブジェクトのジオメトリが複雑または不明な大多数のシーンに適用できなくなります。
この作業では、オブジェクトのジオメトリやトポロジを前提とせずに、一連のマルチビュー ビデオから物理システムを特徴付けるパラメーターを特定することを目指しています。
この目的のために、マルチビュービデオから非常に動的なオブジェクトの未知のジオメトリと物理パラメーターの両方を推定するために、「物理増強連続体ニューラル放射輝度フィールド」(PAC-NeRF) を提案します。
PAC-NeRF は、ニューラル ラディアンス フィールドを強制的に連続体力学の保存則に従うことにより、物理的にもっともらしい状態のみを生成するように設計されています。
このために、ニューラル放射輝度フィールドのハイブリッド オイラー-ラグランジュ表現を設計します。つまり、ラグランジュ粒子を介してニューラル放射輝度フィールドを移流しながら、NeRF 密度フィールドとカラー フィールドにオイラー グリッド表現を使用します。
このハイブリッド オイラー ラグランジュ表現は、効率的なニューラル レンダリングと質点法 (MPM) をシームレスに融合させ、ロバストな微分可能な物理シミュレーションを実現します。
弾性体、粘土、砂、ニュートン流体および非ニュートン流体を含む広範な材料のジオメトリおよび物理パラメータの推定に対する提案されたフレームワークの有効性を検証し、ほとんどのタスクで大幅なパフォーマンスの向上を示します。

要約(オリジナル)

Existing approaches to system identification (estimating the physical parameters of an object) from videos assume known object geometries. This precludes their applicability in a vast majority of scenes where object geometries are complex or unknown. In this work, we aim to identify parameters characterizing a physical system from a set of multi-view videos without any assumption on object geometry or topology. To this end, we propose ‘Physics Augmented Continuum Neural Radiance Fields’ (PAC-NeRF), to estimate both the unknown geometry and physical parameters of highly dynamic objects from multi-view videos. We design PAC-NeRF to only ever produce physically plausible states by enforcing the neural radiance field to follow the conservation laws of continuum mechanics. For this, we design a hybrid Eulerian-Lagrangian representation of the neural radiance field, i.e., we use the Eulerian grid representation for NeRF density and color fields, while advecting the neural radiance fields via Lagrangian particles. This hybrid Eulerian-Lagrangian representation seamlessly blends efficient neural rendering with the material point method (MPM) for robust differentiable physics simulation. We validate the effectiveness of our proposed framework on geometry and physical parameter estimation over a vast range of materials, including elastic bodies, plasticine, sand, Newtonian and non-Newtonian fluids, and demonstrate significant performance gain on most tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google