Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

要約

シーン表現として 3D ガウスを使用する高密度同時位置特定およびマッピング (SLAM) 手法を紹介します。
私たちのアプローチにより、現実世界のシングルカメラ RGBD ビデオからのインタラクティブな時間の再構築とフォトリアリスティックなレンダリングが可能になります。
この目的を達成するために、新たに調査された領域に新しいガウスをシードするための新しい効果的な戦略と、シーンのサイズに依存せず、より大きなシーンに拡張可能な効果的なオンライン最適化を提案します。
これは、シーンを個別に最適化されメモリに保持する必要のないサブマップに編成することによって実現されます。
さらに、入力フレームとレンダリングされたフレーム間の測光損失と幾何学的損失を最小限に抑えることで、フレームからモデルへのカメラ追跡を実現します。
ガウス表現により、現実世界のシーンの高品質で写真のようにリアルなリアルタイム レンダリングが可能になります。
合成データセットと現実世界のデータセットの評価では、既存のニューラル高密度 SLAM 手法と比較して、マッピング、追跡、レンダリングにおいて競合または優れたパフォーマンスを実証します。

要約(オリジナル)

We present a dense simultaneous localization and mapping (SLAM) method that uses 3D Gaussians as a scene representation. Our approach enables interactive-time reconstruction and photo-realistic rendering from real-world single-camera RGBD videos. To this end, we propose a novel effective strategy for seeding new Gaussians for newly explored areas and their effective online optimization that is independent of the scene size and thus scalable to larger scenes. This is achieved by organizing the scene into sub-maps which are independently optimized and do not need to be kept in memory. We further accomplish frame-to-model camera tracking by minimizing photometric and geometric losses between the input and rendered frames. The Gaussian representation allows for high-quality photo-realistic real-time rendering of real-world scenes. Evaluation on synthetic and real-world datasets demonstrates competitive or superior performance in mapping, tracking, and rendering compared to existing neural dense SLAM methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google