2D Gaussian Splatting for Geometrically Accurate Radiance Fields

要約

3D ガウス スプラッティング (3DGS) は最近、放射フィールド再構成に革命をもたらし、ベイク処理を行わずに高品質の新しいビュー合成と高速レンダリング速度を実現しました。
ただし、3D ガウスのマルチビューの一貫性のない性質により、3DGS は表面を正確に表現できません。
我々は、多視点画像から幾何学的に正確な放射輝度フィールドをモデル化し再構築する新しいアプローチである 2D ガウス スプラッティング (2DGS) を紹介します。
私たちの重要なアイデアは、3D ボリュームを 2D 指向の平面ガウス ディスクのセットに折りたたむことです。
3D ガウスとは異なり、2D ガウスは本質的に表面をモデリングしながら、ビューに一貫性のあるジオメトリを提供します。
薄いサーフェスを正確に復元し、安定した最適化を達成するために、レイとスプラットの交差とラスター化を利用した遠近法に正確な 2D スプラッティング プロセスを導入します。
さらに、再構成の品質をさらに向上させるために、深さの歪みと通常の一貫性の項を組み込みます。
私たちは、微分可能なレンダラーが、競争力のある外観品質、高速トレーニング速度、リアルタイム レンダリングを維持しながら、ノイズのない詳細なジオメトリの再構築を可能にすることを実証します。
私たちのコードは公開されます。

要約(オリジナル)

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google