Gaussian Splatting SLAM

要約

単眼 SLAM での 3D ガウス スプラッティングの最初のアプリケーションを紹介します。これは、Visual SLAM の最も基本的だが最も難しいセットアップです。
3fps でライブ実行される私たちの手法は、唯一の 3D 表現としてガウシアンを利用し、正確で効率的なトラッキング、マッピング、高品質のレンダリングに必要な表現を統合します。
困難な単眼設定向けに設計された当社のアプローチは、外部深度センサーが利用可能な場合、RGB-D SLAM にシームレスに拡張できます。
ライブカメラから高忠実度で 3D シーンを継続的に再構築するには、いくつかのイノベーションが必要です。
まず、オフラインの Structure from Motion (SfM) システムからの正確なポーズを必要とする元の 3DGS アルゴリズムを超えて、3D ガウスに対する直接最適化を使用して 3DGS のカメラ トラッキングを定式化し、これにより、高速かつ堅牢なトラッキングが可能になることを示します。
広い収束盆地。
第 2 に、ガウス分布の明示的な性質を利用して、幾何学的検証と正則化を導入して、増分 3D 密再構成で発生する曖昧さを処理します。
最後に、新しいビュー合成と軌道推定において最先端の結果を達成するだけでなく、小さなオブジェクトや透明なオブジェクトの再構成も実現する完全な SLAM システムを紹介します。

要約(オリジナル)

We present the first application of 3D Gaussian Splatting in monocular SLAM, the most fundamental but the hardest setup for Visual SLAM. Our method, which runs live at 3fps, utilises Gaussians as the only 3D representation, unifying the required representation for accurate, efficient tracking, mapping, and high-quality rendering. Designed for challenging monocular settings, our approach is seamlessly extendable to RGB-D SLAM when an external depth sensor is available. Several innovations are required to continuously reconstruct 3D scenes with high fidelity from a live camera. First, to move beyond the original 3DGS algorithm, which requires accurate poses from an offline Structure from Motion (SfM) system, we formulate camera tracking for 3DGS using direct optimisation against the 3D Gaussians, and show that this enables fast and robust tracking with a wide basin of convergence. Second, by utilising the explicit nature of the Gaussians, we introduce geometric verification and regularisation to handle the ambiguities occurring in incremental 3D dense reconstruction. Finally, we introduce a full SLAM system which not only achieves state-of-the-art results in novel view synthesis and trajectory estimation but also reconstruction of tiny and even transparent objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google