MD-Splatting: Learning Metric Deformation from 4D Gaussians in Highly Deformable Scenes

要約

オクルージョンや影を伴う高度に変形可能なシーンにおける正確な3Dトラッキングは、ロボット工学、拡張現実、そしてジェネレーティブAIにおける新しいアプリケーションを促進します。しかし、このような条件下でのトラッキングは、大きな変形、影、オクルージョンによって生じる曖昧さのため、非常に困難である。我々は、様々なカメラポーズからの動的シーンのビデオキャプチャを用いた、3Dトラッキングと新規ビュー合成を同時に行うアプローチであるMD-Splattingを紹介する。MD-SplattingはGaussian splattingの最近の進歩に基づいており、最先端の高速な新規ビュー合成のために多数のガウシアンの特性を学習する手法である。MD-Splattingは、非メトリック、つまり正準の特性を持つガウシアンの集合をメトリック空間に投影する変形関数を学習する。変形関数は神経ボクセルエンコーディングと多層パーセプトロン（MLP）を用いて、ガウシアンの位置、回転、影のスカラーを推測する。局所的な剛性、運動量保存、アイソメトリに基づく物理学に着想を得た正則化項を強制することで、軌跡誤差の小さい軌跡を導く。MD-Splattingは、影やオクルージョンのある高度に変形可能なシーンにおいて、高品質な3Dトラッキングを実現する。最先端技術と比較して、3Dトラッキングを平均23.9%向上させ、同時に高品質な新規ビュー合成を実現しています。シーン6のような十分なテクスチャがある場合、MD-Splattingは1 x 1メートルの大きさの布において、中央値3.39 mmのトラッキングエラーを達成しています。プロジェクトウェブサイト：https://md-splatting.github.io/.

要約(オリジナル)

Accurate 3D tracking in highly deformable scenes with occlusions and shadows can facilitate new applications in robotics, augmented reality, and generative AI. However, tracking under these conditions is extremely challenging due to the ambiguity that arises with large deformations, shadows, and occlusions. We introduce MD-Splatting, an approach for simultaneous 3D tracking and novel view synthesis, using video captures of a dynamic scene from various camera poses. MD-Splatting builds on recent advances in Gaussian splatting, a method that learns the properties of a large number of Gaussians for state-of-the-art and fast novel view synthesis. MD-Splatting learns a deformation function to project a set of Gaussians with non-metric, thus canonical, properties into metric space. The deformation function uses a neural-voxel encoding and a multilayer perceptron (MLP) to infer Gaussian position, rotation, and a shadow scalar. We enforce physics-inspired regularization terms based on local rigidity, conservation of momentum, and isometry, which leads to trajectories with smaller trajectory errors. MD-Splatting achieves high-quality 3D tracking on highly deformable scenes with shadows and occlusions. Compared to state-of-the-art, we improve 3D tracking by an average of 23.9 %, while simultaneously achieving high-quality novel view synthesis. With sufficient texture such as in scene 6, MD-Splatting achieves a median tracking error of 3.39 mm on a cloth of 1 x 1 meters in size. Project website: https://md-splatting.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL