OmniGS: Fast Radiance Field Reconstruction using Omnidirectional Gaussian Splatting

要約

3D ガウス スプラッティングに依存したフォトリアリスティックな再構成は、さまざまな領域で有望な可能性を示しています。
ただし、現在の 3D ガウス スプラッティング システムは、歪みのない透視画像を使用した放射輝度フィールドの再構築のみをサポートしています。
この論文では、高速放射フィールド再構築のために全方位画像を活用するための新しい全方位ガウス スプラッティング システムである OmniGS を紹介します。
具体的には、3D ガウス スプラッティングにおける球面カメラ モデルの導関数の理論的解析を行います。
派生版によれば、次に、全方向画像レンダリングのために 3D ガウスを正距円筒スクリーン空間に直接スプラットする新しい GPU アクセラレーション全方向ラスタライザーを実装します。
キューブマップの修正や接平面近似を必要とせずに、全方向性放射フィールドの微分可能な最適化を実現します。
自己中心的およびローミングのシナリオで行われた広範な実験により、私たちの方法が全方位画像を使用して最先端の再構成品質と高いレンダリング速度を達成することが実証されました。
コードは公開されます。

要約(オリジナル)

Photorealistic reconstruction relying on 3D Gaussian Splatting has shown promising potential in various domains. However, the current 3D Gaussian Splatting system only supports radiance field reconstruction using undistorted perspective images. In this paper, we present OmniGS, a novel omnidirectional Gaussian splatting system, to take advantage of omnidirectional images for fast radiance field reconstruction. Specifically, we conduct a theoretical analysis of spherical camera model derivatives in 3D Gaussian Splatting. According to the derivatives, we then implement a new GPU-accelerated omnidirectional rasterizer that directly splats 3D Gaussians onto the equirectangular screen space for omnidirectional image rendering. We realize differentiable optimization of the omnidirectional radiance field without the requirement of cube-map rectification or tangent-plane approximation. Extensive experiments conducted in egocentric and roaming scenarios demonstrate that our method achieves state-of-the-art reconstruction quality and high rendering speed using omnidirectional images. The code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google