ProJo4D: Progressive Joint Optimization for Sparse-View Inverse Physics Estimation

要約

ニューラルレンダリングは、3D再構成と新規ビューの合成に大きな進歩を遂げました。
物理学との統合により、新しいアプリケーションが開きます。
しかし、視覚データから物理学を推定する逆の問題は、依然として困難なままであり、ロボット工学やXRでの物理的に正確なデジタルツイン作成などのアプリケーションの有効性を制限しています。
神経レンダリングフレームワークに物理学を組み込む既存の方法は、通常、入力として密なマルチビュービデオを必要とし、それらをスケーラブルで実世界の使用には非現実的にします。
スパースマルチビュービデオで提示されると、既存のアプローチで使用されるシーケンシャル最適化戦略は、大幅なエラー蓄積をもたらします。
連続的な最適化の代わりに、すべてのパラメーターを同時に直接最適化することは、非常に非凸でしばしば非拡張性のない問題のために失敗します。
Projo4Dは、その感度によって導かれる共同最適化されたパラメーターのセットを徐々に増加させ、幾何学、外観、物理状態、および材料特性よりも完全に共同最適化につながるProjo4Dを提案します。
PAC-NERFおよびSPRING-GAUSデータセットの評価は、Projo4Dが4D将来の状態予測、将来の状態の新しい見解レンダリング、および物理的パラメーターの推定での以前の研究よりも優れていることを示しています。
デモについては、プロジェクトWebページにアクセスしてください：https：//daniel03c1.github.io/projo4d/

要約(オリジナル)

Neural rendering has made significant strides in 3D reconstruction and novel view synthesis. With the integration with physics, it opens up new applications. The inverse problem of estimating physics from visual data, however, still remains challenging, limiting its effectiveness for applications like physically accurate digital twin creation in robotics and XR. Existing methods that incorporate physics into neural rendering frameworks typically require dense multi-view videos as input, making them impractical for scalable, real-world use. When presented with sparse multi-view videos, the sequential optimization strategy used by existing approaches introduces significant error accumulation, e.g., poor initial 3D reconstruction leads to bad material parameter estimation in subsequent stages. Instead of sequential optimization, directly optimizing all parameters at the same time also fails due to the highly non-convex and often non-differentiable nature of the problem. We propose ProJo4D, a progressive joint optimization framework that gradually increases the set of jointly optimized parameters guided by their sensitivity, leading to fully joint optimization over geometry, appearance, physical state, and material property. Evaluations on PAC-NeRF and Spring-Gaus datasets show that ProJo4D outperforms prior work in 4D future state prediction, novel view rendering of future state, and material parameter estimation, demonstrating its effectiveness in physically grounded 4D scene understanding. For demos, please visit the project webpage: https://daniel03c1.github.io/ProJo4D/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google