MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering

要約

最近、3D ガウス スプラッティングは、高忠実度のレンダリング結果を生成できる機能として注目を集めています。
同時に、ゲーム、アニメーション、AR/VR などのほとんどのアプリケーションは、メッシュベースの表現を使用して 3D シーンを表現およびレンダリングします。
私たちは、メッシュ表現を 3D ガウス スプラットと統合して、再構築された現実世界のシーンの高品質なレンダリングを実行する新しいアプローチを提案します。
特に、距離ベースのガウス スプラッティング手法を導入して、ガウス スプラットをメッシュ サーフェスに位置合わせし、レンダリングに寄与しない冗長なガウス スプラットを削除します。
各ガウス スプラットとメッシュ サーフェスの間の距離を考慮して、しっかりと結合されたガウス スプラットと緩く結合されたガウス スプラットを区別します。
しっかりと結合されたスプラットは平らになり、メッシュ ジオメトリと適切に位置合わせされます。
緩やかに結合されたガウス スプラットは、レンダリングの観点から再構築された 3D メッシュ内のアーティファクトを考慮するために使用されます。
ガウス スプラットをメッシュ ジオメトリにバインドするトレーニング戦略を提示し、両方のタイプのスプラットを考慮します。
これに関連して、トレーニング プロセス中に緊密にバインドされたガウス スプラットをメッシュ サーフェスと正確に位置合わせすることを目的としたいくつかの正則化手法を導入します。
mip-NeRF 360 およびディープ ブレンディング データセットからの大規模で境界のないシーンに対するこの方法の有効性を検証します。
私たちの手法は、2dB 高い PSNR を達成することで最近のメッシュベースのニューラル レンダリング技術を上回り、特に屋外の mip-NeRF 360 データセットにおいて、メッシュベースのガウス スプラッティング手法を 1.3 dB PSNR 上回り、より優れたレンダリング品質を示しています。
ガウス スプラットの各タイプの分析を提供し、元の 3D ガウス スプラッティングと比較してガウス スプラットの数を 30% 削減しました。

要約(オリジナル)

Recently, 3D Gaussian splatting has gained attention for its capability to generate high-fidelity rendering results. At the same time, most applications such as games, animation, and AR/VR use mesh-based representations to represent and render 3D scenes. We propose a novel approach that integrates mesh representation with 3D Gaussian splats to perform high-quality rendering of reconstructed real-world scenes. In particular, we introduce a distance-based Gaussian splatting technique to align the Gaussian splats with the mesh surface and remove redundant Gaussian splats that do not contribute to the rendering. We consider the distance between each Gaussian splat and the mesh surface to distinguish between tightly-bound and loosely-bound Gaussian splats. The tightly-bound splats are flattened and aligned well with the mesh geometry. The loosely-bound Gaussian splats are used to account for the artifacts in reconstructed 3D meshes in terms of rendering. We present a training strategy of binding Gaussian splats to the mesh geometry, and take into account both types of splats. In this context, we introduce several regularization techniques aimed at precisely aligning tightly-bound Gaussian splats with the mesh surface during the training process. We validate the effectiveness of our method on large and unbounded scene from mip-NeRF 360 and Deep Blending datasets. Our method surpasses recent mesh-based neural rendering techniques by achieving a 2dB higher PSNR, and outperforms mesh-based Gaussian splatting methods by 1.3 dB PSNR, particularly on the outdoor mip-NeRF 360 dataset, demonstrating better rendering quality. We provide analyses for each type of Gaussian splat and achieve a reduction in the number of Gaussian splats by 30% compared to the original 3D Gaussian splatting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google