Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Dynamic Scenes

要約

最新の3Dエンジンとグラフィックスパイプラインは、効率的なレンダリング、ジオメトリ処理、テクスチャ編集、および他の多くの下流操作を可能にする、メモリ効率の高い表現としてメッシュを必要とします。しかし、動的な観測から詳細な構造と時間的な一貫性の点で高品質なメッシュを得ることはまだ非常に困難である。そこで我々は、動的入力から高忠実度で時間整合性のあるメッシュを再構成するフレームワークであるDynamic Gaussians Mesh (DG-Mesh)を紹介する。DG-Meshは、最近の3次元ガウシアンスプラッティングの進歩を利用し、動的な観測データから時間的整合性を持つメッシュシーケンスを構築する。この表現の上に構築されたDG-Meshは、ガウス点から高品質なメッシュを復元し、メッシュ頂点を時間的に追跡することができるため、動的オブジェクトのテクスチャ編集などの応用が可能になる。ガウシアンメッシュのアンカリングを導入し、ガウシアンを均等に分散させることで、変形されたガウシアンに対してメッシュガイドによる高密度化と刈り込みを行い、より良いメッシュ再構築を実現する。正規空間と変形空間の間でサイクル整合変形を適用することにより、アンカーされたガウシアンを正規空間に投影し、全ての時間フレームにわたってガウシアンを最適化することができる。様々なデータセットでの評価において、DG-Meshはベースラインよりも大幅に優れたメッシュ再構成とレンダリングを提供する。プロジェクトページ: https://www.liuisabella.com/DG-Mesh

要約(オリジナル)

Modern 3D engines and graphics pipelines require mesh as a memory-efficient representation, which allows efficient rendering, geometry processing, texture editing, and many other downstream operations. However, it is still highly difficult to obtain high-quality mesh in terms of detailed structure and time consistency from dynamic observations. To this end, we introduce Dynamic Gaussians Mesh (DG-Mesh), a framework to reconstruct a high-fidelity and time-consistent mesh from dynamic input. Our work leverages the recent advancement in 3D Gaussian Splatting to construct the mesh sequence with temporal consistency from dynamic observations. Building on top of this representation, DG-Mesh recovers high-quality meshes from the Gaussian points and can track the mesh vertices over time, which enables applications such as texture editing on dynamic objects. We introduce the Gaussian-Mesh Anchoring, which encourages evenly distributed Gaussians, resulting better mesh reconstruction through mesh-guided densification and pruning on the deformed Gaussians. By applying cycle-consistent deformation between the canonical and the deformed space, we can project the anchored Gaussian back to the canonical space and optimize Gaussians across all time frames. During the evaluation on different datasets, DG-Mesh provides significantly better mesh reconstruction and rendering than baselines. Project page: https://www.liuisabella.com/DG-Mesh

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL