Dynamic Gaussians Mesh: Consistent Mesh Reconstruction from Monocular Videos

要約

最新の 3D エンジンとグラフィックス パイプラインには、メモリ効率の高い表現としてメッシュが必要です。これにより、効率的なレンダリング、ジオメトリ処理、テクスチャ編集、およびその他の多くの下流操作が可能になります。
しかし、単眼の目視観察から構造と詳細の点で高品質のメッシュを取得することは依然として非常に困難です。
動的なシーンやオブジェクトの場合、問題はさらに困難になります。
この目的を達成するために、単一の単眼ビデオから高忠実度で時間整合性の高いメッシュを再構築するフレームワークであるダイナミック ガウス メッシュ (DG-Mesh) を導入します。
私たちの研究では、3D ガウス スプラッティングの最近の進歩を利用して、ビデオから時間的に一貫したメッシュ シーケンスを構築します。
この表現に基づいて、DG-Mesh はガウス ポイントから高品質のメッシュを復元し、経時的にメッシュの頂点を追跡できるため、動的オブジェクトのテクスチャ編集などのアプリケーションが可能になります。
ガウス メッシュ アンカーリングを導入します。これはガウスの均等な分散を促進し、メッシュ ガイドによる緻密化と変形したガウスの枝刈りを通じてメッシュの再構築を改善します。
正準空間と変形空間との間にサイクル一貫性のある変形を適用することにより、アンカーされたガウスを正準空間に投影し直し、すべてのタイムフレームにわたってガウスを最適化できます。
さまざまなデータセットの評価中に、DG-Mesh はベースラインよりも大幅に優れたメッシュの再構築とレンダリングを提供します。

要約(オリジナル)

Modern 3D engines and graphics pipelines require mesh as a memory-efficient representation, which allows efficient rendering, geometry processing, texture editing, and many other downstream operations. However, it is still highly difficult to obtain high-quality mesh in terms of structure and detail from monocular visual observations. The problem becomes even more challenging for dynamic scenes and objects. To this end, we introduce Dynamic Gaussians Mesh (DG-Mesh), a framework to reconstruct a high-fidelity and time-consistent mesh given a single monocular video. Our work leverages the recent advancement in 3D Gaussian Splatting to construct the mesh sequence with temporal consistency from a video. Building on top of this representation, DG-Mesh recovers high-quality meshes from the Gaussian points and can track the mesh vertices over time, which enables applications such as texture editing on dynamic objects. We introduce the Gaussian-Mesh Anchoring, which encourages evenly distributed Gaussians, resulting better mesh reconstruction through mesh-guided densification and pruning on the deformed Gaussians. By applying cycle-consistent deformation between the canonical and the deformed space, we can project the anchored Gaussian back to the canonical space and optimize Gaussians across all time frames. During the evaluation on different datasets, DG-Mesh provides significantly better mesh reconstruction and rendering than baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google