Self-Calibrating Gaussian Splatting for Large Field of View Reconstruction

要約

このペーパーでは、カメラパラメーター、レンズの歪み、3Dガウス表現を共同で最適化し、正確で効率的なシーンの再構築を可能にする自己調節フレームワークを紹介します。
特に、この手法により、広角レンズで撮影された大きな視野（FOV）画像からの高品質のシーンの再構築を可能にし、シーンを少数の画像からモデル化できます。
私たちのアプローチでは、反転可能な残差ネットワークと明示的なグリッドを組み合わせたハイブリッドネットワークを使用して、複雑なレンズ歪みをモデル化するための新しい方法を紹介します。
この設計は、最適化プロセスを効果的に正規化し、従来のカメラモデルよりも高い精度を達成します。
さらに、解像度を犠牲にしたり、歪みアーティファクトを導入したりせずに、大規模なFOV画像をサポートするためのキューブベースの再サンプリング戦略を提案します。
私たちの方法は、さまざまなカメラレンズの歪みに適応できるガウスのスプラッティングの高速なラスター化と互換性があり、合成データセットと実際のデータセットの両方で最先端のパフォーマンスを示しています。

要約(オリジナル)

In this paper, we present a self-calibrating framework that jointly optimizes camera parameters, lens distortion and 3D Gaussian representations, enabling accurate and efficient scene reconstruction. In particular, our technique enables high-quality scene reconstruction from Large field-of-view (FOV) imagery taken with wide-angle lenses, allowing the scene to be modeled from a smaller number of images. Our approach introduces a novel method for modeling complex lens distortions using a hybrid network that combines invertible residual networks with explicit grids. This design effectively regularizes the optimization process, achieving greater accuracy than conventional camera models. Additionally, we propose a cubemap-based resampling strategy to support large FOV images without sacrificing resolution or introducing distortion artifacts. Our method is compatible with the fast rasterization of Gaussian Splatting, adaptable to a wide variety of camera lens distortion, and demonstrates state-of-the-art performance on both synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google