GASP: Gaussian Splatting for Physic-Based Simulations

要約

物理シミュレーションは、現実世界のさまざまなアプリケーションで 3D シーンをモデリングおよび利用するために最も重要です。
ただし、ガウス スプラッティング (GS) などの最先端の 3D シーン レンダリング技術との統合は依然として困難です。
既存のモデルは、三角形または四面体メッシュ、マーチング キューブ、ケージ メッシュなどの追加のメッシュ メカニズムを使用します。
別の方法として、物理学に基づいたニュートン力学を変更して 3D ガウス コンポーネントと一致させることができます。
現在のモデルは、線形変換によってダイナミクスを局所的に近似する変形マップの一次近似を採用しています。
対照的に、物理ベース シミュレーション (GASP) のガウス スプラッティング モデルでは、そのようなマップ (変更なし) と 3 つの点 (メッシュ面) によってパラメーター化されたフラット ガウス分布が使用されます。
その後、各 3D ポイント (メッシュ面ノード) は 3D 空間内の個別のエンティティとして扱われます。
その結果、ガウス コンポーネントのモデリングの問題は 3D 点の操作に集約されます。
さらに、メッシュ面の情報を使用して物理モデルにさらなるプロパティを組み込むことができ、三角形の使用が容易になります。
結果として得られるソリューションは、ブラック ボックスとして扱うことができる物理エンジンに統合できます。
私たちの研究で実証されているように、提案されたモデルは、3D オブジェクト レンダリング用に設計されたさまざまなベンチマーク データセット上で優れたパフォーマンスを示します。

要約(オリジナル)

Physics simulation is paramount for modeling and utilization of 3D scenes in various real-world applications. However, its integration with state-of-the-art 3D scene rendering techniques such as Gaussian Splatting (GS) remains challenging. Existing models use additional meshing mechanisms, including triangle or tetrahedron meshing, marching cubes, or cage meshes. As an alternative, we can modify the physics grounded Newtonian dynamics to align with 3D Gaussian components. Current models take the first-order approximation of a deformation map, which locally approximates the dynamics by linear transformations. In contrast, our Gaussian Splatting for Physics-Based Simulations (GASP) model uses such a map (without any modifications) and flat Gaussian distributions, which are parameterized by three points (mesh faces). Subsequently, each 3D point (mesh face node) is treated as a discrete entity within a 3D space. Consequently, the problem of modeling Gaussian components is reduced to working with 3D points. Additionally, the information on mesh faces can be used to incorporate further properties into the physics model, facilitating the use of triangles. Resulting solution can be integrated into any physics engine that can be treated as a black box. As demonstrated in our studies, the proposed model exhibits superior performance on a diverse range of benchmark datasets designed for 3D object rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google