SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM

要約

高密度同時定位マッピング(SLAM)では、意味理解が重要な役割を果たし、シーンの包括的な解釈を容易にする。最近、SLAMシステムにGauss-sian Splattingを統合する進歩があり、明示的な3D Gaussian表現を使用することにより、高品質なレンダリングを生成する有効性が実証されている。この進歩に基づき、我々はSGS-SLAMを提案する。SGS-SLAMは、3Dガウシアンに基づく最初の意味的密な視覚SLAMシステムであり、高忠実度の再構成と同時に、正確な3D意味的セグメンテーションを提供する。具体的には、マッピングプロセスにおいてマルチチャンネル最適化を採用することを提案し、再構成品質を向上させるために、外観、幾何学的、意味的制約をキーフレーム最適化と統合する。広範な実験により、SGS-SLAMがカメラポーズ推定、マップ再構成、セマンティックセグメンテーションにおいて、リアルタイムレンダリング能力を維持しつつ、既存の手法を凌駕する最先端の性能を実現することが実証された。

要約(オリジナル)

Semantic understanding plays a crucial role in Dense Simultaneous Localization and Mapping (SLAM), facilitating comprehensive scene interpretation. Recent advancements that integrate Gaus- sian Splatting into SLAM systems have demonstrated its effectiveness in generating high-quality renderings through the use of explicit 3D Gaussian representations. Building on this progress, we propose SGS-SLAM, the first semantic dense visual SLAM system grounded in 3D Gaussians, which provides precise 3D semantic segmentation alongside high-fidelity reconstructions. Specifically, we propose to employ multi-channel optimization during the mapping process, integrating appearance, geometric, and semantic constraints with key-frame optimization to enhance reconstruction quality. Extensive experiments demonstrate that SGS-SLAM delivers state-of-the-art performance in camera pose estimation, map reconstruction, and semantic segmentation, outperforming existing methods meanwhile preserving real-time rendering ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL