PhyRecon: Physically Plausible Neural Scene Reconstruction

要約

ニューラル暗黙的表現はマルチビュー 3D 再構成で人気を集めていますが、これまでの研究では物理的に妥当な結果を得るのに苦労しており、そのため、身体化された AI やロボット工学などの物理学を要求する分野での応用は制限されていました。
妥当性の欠如は、既存のパイプラインに物理モデリングが存在しないことと、複雑な幾何学的構造を回復できないことの両方に起因します。
この論文では、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習するための最初のアプローチとなる PhyRecon を紹介します。
私たちのフレームワークは、ニューラル暗黙的表現とシームレスに統合された新しい微分可能な粒子ベースの物理シミュレーターを提案します。
その中心となるのは、SDF ベースの暗黙的表現と、私たちが提案するアルゴリズムであるサーフェス ポイント マーチング キューブ (SP-MC) による明示的なサーフェス ポイントの間の効率的な変換であり、レンダリングと物理的損失の両方を伴う微分​​可能な学習を可能にします。
さらに、レンダリングと物理的不確実性の両方をモデル化して、一貫性がなく不正確な単眼幾何学的事前分布を特定して補正します。
さらに、物理的な不確実性により、物理学に基づいたピクセル サンプリングが可能になり、細長い構造の学習が強化されます。
これらの技術を融合することにより、私たちのモデルは、外観、ジオメトリ、物理学を使用した効率的なジョイント モデリングを容易にします。
広範な実験により、PhyRecon が再構築の品質の点ですべての最先端の方法よりも大幅に優れていることが実証されています。
また、私たちの再構成結果は、Isaac Gym によって検証された優れた物理的安定性をもたらし、すべてのデータセットにわたって少なくとも 40% の改善が見られ、将来の物理ベースのアプリケーションに幅広い道が開かれます。

要約(オリジナル)

While neural implicit representations have gained popularity in multi-view 3D reconstruction, previous work struggles to yield physically plausible results, thereby limiting their applications in physics-demanding domains like embodied AI and robotics. The lack of plausibility originates from both the absence of physics modeling in the existing pipeline and their inability to recover intricate geometrical structures. In this paper, we introduce PhyRecon, which stands as the first approach to harness both differentiable rendering and differentiable physics simulation to learn implicit surface representations. Our framework proposes a novel differentiable particle-based physical simulator seamlessly integrated with the neural implicit representation. At its core is an efficient transformation between SDF-based implicit representation and explicit surface points by our proposed algorithm, Surface Points Marching Cubes (SP-MC), enabling differentiable learning with both rendering and physical losses. Moreover, we model both rendering and physical uncertainty to identify and compensate for the inconsistent and inaccurate monocular geometric priors. The physical uncertainty additionally enables a physics-guided pixel sampling to enhance the learning of slender structures. By amalgamating these techniques, our model facilitates efficient joint modeling with appearance, geometry, and physics. Extensive experiments demonstrate that PhyRecon significantly outperforms all state-of-the-art methods in terms of reconstruction quality. Our reconstruction results also yield superior physical stability, verified by Isaac Gym, with at least a 40% improvement across all datasets, opening broader avenues for future physics-based applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google