SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering

要約

我々は、3D ガウス スプラッティングから正確かつ極めて高速にメッシュを抽出できる方法を提案します。
ガウス スプラッティングは、NeRF よりもトレーニングが大幅に速く、リアルなレンダリングが得られるため、最近非常に人気があります。
ただし、これらのガウスは最適化後に組織化されない傾向があり、これまでに提案された方法がないため、数百万の小さな 3D ガウスからメッシュを抽出することは困難です。
私たちの最初の重要な貢献は、ガウス分布がシーンの表面とうまく一致するように促す正則化項です。
次に、この位置合わせを利用して、ニューラル SDF からメッシュを抽出するために通常適用されるマーチング キューブ アルゴリズムとは対照的に、ポアソン再構成を使用してガウスからメッシュを抽出する方法を紹介します。この方法は、高速でスケーラブルで、詳細を保持します。
最後に、ガウスをメッシュの表面にバインドし、ガウス スプラッティング レンダリングを通じてこれらのガウスとメッシュを共同で最適化するオプションの洗練戦略を導入します。
これにより、ガウスそのものではなくメッシュを操作することで、従来のソフトウェアを使用してガウスの編集、スカルプト、リギング、アニメーション、合成、再ライティングが簡単に行えます。
リアルなレンダリングのためのこのような編集可能なメッシュの取得は、ニューラル SDF の最先端の方法では数時間かかるのに対し、私たちの方法では数分以内に完了し、より優れたレンダリング品質を提供します。

要約(オリジナル)

We propose a method to allow precise and extremely fast mesh extraction from 3D Gaussian Splatting. Gaussian Splatting has recently become very popular as it yields realistic rendering while being significantly faster to train than NeRFs. It is however challenging to extract a mesh from the millions of tiny 3D gaussians as these gaussians tend to be unorganized after optimization and no method has been proposed so far. Our first key contribution is a regularization term that encourages the gaussians to align well with the surface of the scene. We then introduce a method that exploits this alignment to extract a mesh from the Gaussians using Poisson reconstruction, which is fast, scalable, and preserves details, in contrast to the Marching Cubes algorithm usually applied to extract meshes from Neural SDFs. Finally, we introduce an optional refinement strategy that binds gaussians to the surface of the mesh, and jointly optimizes these Gaussians and the mesh through Gaussian splatting rendering. This enables easy editing, sculpting, rigging, animating, compositing and relighting of the Gaussians using traditional softwares by manipulating the mesh instead of the gaussians themselves. Retrieving such an editable mesh for realistic rendering is done within minutes with our method, compared to hours with the state-of-the-art methods on neural SDFs, while providing a better rendering quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google