SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM

要約

意味理解は、高密度同時定位マッピング（SLAM）において重要な役割を果たす。ガウススプラッティングをSLAMシステムに統合する最近の進歩により、高品質なレンダリングを生成する有効性が実証されている。この進歩に基づき、我々はSGS-SLAMを提案する。SGS-SLAMは、高忠実度の再構成と同時に、正確な3Dセマンティックセグメンテーションを提供する。具体的には、マッピング処理中にマルチチャンネル最適化を採用し、再構成品質を向上させるために、外観、幾何学的、意味的制約をキーフレーム最適化と統合することを提案する。広範な実験により、SGS-SLAMはカメラポーズ推定、マップ再構成、意味的セグメンテーションにおいて最先端の性能を発揮することが実証された。SGS-SLAMは、リアルタイムレンダリング能力を維持しながら、既存の手法よりも大きなマージンで優れている。

要約(オリジナル)

Semantic understanding plays a crucial role in Dense Simultaneous Localization and Mapping (SLAM). Recent advancements that integrate Gaussian Splatting into SLAM systems have demonstrated its effectiveness in generating high-quality renderings. Building on this progress, we propose SGS-SLAM which provides precise 3D semantic segmentation alongside high-fidelity reconstructions. Specifically, we propose to employ multi-channel optimization during the mapping process, integrating appearance, geometric, and semantic constraints with key-frame optimization to enhance reconstruction quality. Extensive experiments demonstrate that SGS-SLAM delivers state-of-the-art performance in camera pose estimation, map reconstruction, and semantic segmentation. It outperforms existing methods by a large margin meanwhile preserving real-time rendering ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL