SplatMesh: Interactive 3D Segmentation and Editing Using Mesh-Based Gaussian Splatting

要約

きめ細かい3Dベースのインタラクティブ編集の重要な課題は、特定のメモリ制約の下で、多様な修正と高品質のビュー合成のバランスをとる効率的な表現がないことです。
3Dメッシュはさまざまな変更に堅牢性を提供しますが、3Dガウスのスプラットティングと比較して低品質のビュー合成を生成することが多く、これは広範な編集中の不安定性に苦しんでいます。
これら2つの表現の簡単な組み合わせにより、最適ではないパフォーマンスが発生し、メモリの制約を満たすことができません。
このペーパーでは、3DガウスSplatを事前計算メッシュと統合し、要件に基づいてメモリ要求を調整できる、細かく粒度のあるインタラクティブな3Dセグメンテーションおよび編集アルゴリズムであるSplatmeshを紹介します。
具体的には、メッシュが与えられた場合、\メソッドは色と形状の両方を考慮しながらそれを簡素化し、メモリの制約を満たすようにします。
次に、Splatmeshは、各三角形を新しい基準点として扱うことにより、Gaussian Splatを簡素化されたメッシュに合わせます。
簡素化されたメッシュをセグメント化および編集することにより、ガウススプラットを効果的に編集することができます。これにより、実視および合成データセットに関する広範な実験につながり、説明的な視覚的例と組み合わせて、表現の品質と編集パフォーマンスの点でのアプローチの優位性を強調します。
私たちの論文のコードは、https：//github.com/kaichen-z/splatmeshにあります。

要約(オリジナル)

A key challenge in fine-grained 3D-based interactive editing is the absence of an efficient representation that balances diverse modifications with high-quality view synthesis under a given memory constraint. While 3D meshes provide robustness for various modifications, they often yield lower-quality view synthesis compared to 3D Gaussian Splatting, which, in turn, suffers from instability during extensive editing. A straightforward combination of these two representations results in suboptimal performance and fails to meet memory constraints. In this paper, we introduce SplatMesh, a novel fine-grained interactive 3D segmentation and editing algorithm that integrates 3D Gaussian Splat with a precomputed mesh and could adjust the memory request based on the requirement. Specifically, given a mesh, \method simplifies it while considering both color and shape, ensuring it meets memory constraints. Then, SplatMesh aligns Gaussian splats with the simplified mesh by treating each triangle as a new reference point. By segmenting and editing the simplified mesh, we can effectively edit the Gaussian splats as well, which will lead to extensive experiments on real and synthetic datasets, coupled with illustrative visual examples, highlighting the superiority of our approach in terms of representation quality and editing performance. Code of our paper can be found here: https://github.com/kaichen-z/SplatMesh.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google