Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting

要約

マルチビュー画像からの 3D 再構成は、コンピュータ ビジョンとグラフィックスにおける基本的な課題の 1 つです。
最近、3D ガウス スプラッティング (3DGS) が、高品質の 3D 再構成によるリアルタイム レンダリングが可能な有望な技術として浮上しています。
この方法では、3D ガウス表現とタイルベースのスプラッティング技術を利用し、高価なニューラル フィールド クエリをバイパスします。
3DGS はその可能性にもかかわらず、ガウス分布が 1 つの支配的な分散を持つ異方性ガ​​ウス分布に収束するため、針状のアーティファクト、最適ではないジオメトリ、不正確な法線などの課題に直面します。
私たちは、有効ランク分析を使用して 3D ガウス プリミティブの形状統計を検査し、ガウスが実際に有効ランク 1 の針状の形状に収束していることを確認することを提案します。これに対処するために、有効ランクを正則化として導入し、構造を制約します。
ガウス人。
私たちの新しい正則化手法は、針状のアーティファクトを軽減しながら、法線とジオメトリの再構築を強化します。
このアプローチはアドオン モジュールとして他の 3DGS バリアントに統合でき、視覚的な忠実度を損なうことなく品質を向上させることができます。

要約(オリジナル)

3D reconstruction from multi-view images is one of the fundamental challenges in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a promising technique capable of real-time rendering with high-quality 3D reconstruction. This method utilizes 3D Gaussian representation and tile-based splatting techniques, bypassing the expensive neural field querying. Despite its potential, 3DGS encounters challenges, including needle-like artifacts, suboptimal geometries, and inaccurate normals, due to the Gaussians converging into anisotropic Gaussians with one dominant variance. We propose using effective rank analysis to examine the shape statistics of 3D Gaussian primitives, and identify the Gaussians indeed converge into needle-like shapes with the effective rank 1. To address this, we introduce effective rank as a regularization, which constrains the structure of the Gaussians. Our new regularization method enhances normal and geometry reconstruction while reducing needle-like artifacts. The approach can be integrated as an add-on module to other 3DGS variants, improving their quality without compromising visual fidelity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google