360-GS: Layout-guided Panoramic Gaussian Splatting For Indoor Roaming

要約

3D ガウス スプラッティング (3D-GS) は、リアルタイムかつフォトリアリスティックなレンダリングで最近大きな注目を集めています。
この手法は通常、透視画像を入力として受け取り、一連の 3D 楕円ガウスを画像平面にスプラッティングすることで最適化し、2D ガウスを生成します。
ただし、3D-GS をパノラマ入力に適用すると、2D ガウス分布を使用して ${360^\circ}$ 画像の球面への投影を効果的にモデル化する際に課題が生じます。
実際のアプリケーションでは、入力パノラマがまばらであることが多く、3D ガウスの初期化の信頼性が低くなり、その後 3D-GS の品質が低下します。
さらに、テクスチャのない平面 (壁や床など) のジオメトリの拘束が不十分なため、3D-GS ではこれらの平らな領域を楕円形のガウスでモデル化するのに苦労し、新しいビューで重大なフローターが発生します。
これらの問題に対処するために、限られたパノラマ入力セット用の新しい $360^{\circ}$ ガウス スプラッティングである 360-GS を提案します。
3D ガウスを球面に直接スプラッティングする代わりに、360-GS はそれらを単位球の接平面に投影し、球面投影にマッピングします。
この適応により、ガウス分布を使用した投影の表現が可能になります。
パノラマ内のレイアウト事前分布を活用することで 360-GS の最適化を導きます。これは取得が簡単で、屋内シーンに関する強力な構造情報が含まれています。
私たちの実験結果は、360-GS がパノラマ レンダリングを可能にし、新しいビュー合成においてアーティファクトが少なく最先端の方法よりも優れたパフォーマンスを発揮するため、屋内シナリオで没入型ローミングを実現できることを示しています。

要約(オリジナル)

3D Gaussian Splatting (3D-GS) has recently attracted great attention with real-time and photo-realistic renderings. This technique typically takes perspective images as input and optimizes a set of 3D elliptical Gaussians by splatting them onto the image planes, resulting in 2D Gaussians. However, applying 3D-GS to panoramic inputs presents challenges in effectively modeling the projection onto the spherical surface of ${360^\circ}$ images using 2D Gaussians. In practical applications, input panoramas are often sparse, leading to unreliable initialization of 3D Gaussians and subsequent degradation of 3D-GS quality. In addition, due to the under-constrained geometry of texture-less planes (e.g., walls and floors), 3D-GS struggles to model these flat regions with elliptical Gaussians, resulting in significant floaters in novel views. To address these issues, we propose 360-GS, a novel $360^{\circ}$ Gaussian splatting for a limited set of panoramic inputs. Instead of splatting 3D Gaussians directly onto the spherical surface, 360-GS projects them onto the tangent plane of the unit sphere and then maps them to the spherical projections. This adaptation enables the representation of the projection using Gaussians. We guide the optimization of 360-GS by exploiting layout priors within panoramas, which are simple to obtain and contain strong structural information about the indoor scene. Our experimental results demonstrate that 360-GS allows panoramic rendering and outperforms state-of-the-art methods with fewer artifacts in novel view synthesis, thus providing immersive roaming in indoor scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google