MaGS: Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting

要約

3D 再構築とシミュレーションには相互に関連していますが、明確な目的があります。再構築には多様なシーンに適応できる柔軟な 3D 表現が必要ですが、シミュレーションには運動原理を効果的にモデル化するための構造化された表現が必要です。
この論文では、この課題に対処するメッシュ吸着ガウス スプラッティング (MaGS) 法を紹介します。
MaGS は、3D ガウスがメッシュの近くを移動するように制約し、相互に吸着するメッシュ ガウス 3D 表現を作成します。
このような表現では、3D ガウスのレンダリングの柔軟性とメッシュの構造化された特性の両方が活用されます。
これを達成するために、ビデオ データからモーション プリアを学習してメッシュ変形を調整するネットワークである RMD-Net と、メッシュとガウス間の相対変位をモデル化してメッシュ制約下でのレンダリングの忠実度を高める RGD-Net を導入します。
時間データに依存せずに入力ビデオを超えた新しいユーザー定義の変形を一般化するために、固有のメッシュ情報を活用して RMD-Net と RGD-Net をブートストラップする MPE-Net を提案します。
メッシュの汎用性により、MaGS は ARAP、SMPL、ソフト物理シミュレーションなどのさまざまな事前変形と互換性があります。
D-NeRF、DG-Mesh、PeopleSnapshot データセットに対する広範な実験により、MaGS が再構成とシミュレーションの両方で最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

3D reconstruction and simulation, although interrelated, have distinct objectives: reconstruction requires a flexible 3D representation that can adapt to diverse scenes, while simulation needs a structured representation to model motion principles effectively. This paper introduces the Mesh-adsorbed Gaussian Splatting (MaGS) method to address this challenge. MaGS constrains 3D Gaussians to roam near the mesh, creating a mutually adsorbed mesh-Gaussian 3D representation. Such representation harnesses both the rendering flexibility of 3D Gaussians and the structured property of meshes. To achieve this, we introduce RMD-Net, a network that learns motion priors from video data to refine mesh deformations, alongside RGD-Net, which models the relative displacement between the mesh and Gaussians to enhance rendering fidelity under mesh constraints. To generalize to novel, user-defined deformations beyond input video without reliance on temporal data, we propose MPE-Net, which leverages inherent mesh information to bootstrap RMD-Net and RGD-Net. Due to the universality of meshes, MaGS is compatible with various deformation priors such as ARAP, SMPL, and soft physics simulation. Extensive experiments on the D-NeRF, DG-Mesh, and PeopleSnapshot datasets demonstrate that MaGS achieves state-of-the-art performance in both reconstruction and simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google