SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM

要約

意味の理解は、高密度同時ローカリゼーションおよびマッピング (SLAM) において重要な役割を果たします。
ガウス スプラッティングを SLAM システムに統合する最近の進歩により、高品質のレンダリングの生成におけるその有効性が実証されました。
この進歩に基づいて、高忠実度の再構成とともに正確な 3D セマンティック セグメンテーションを提供する SGS-SLAM を提案します。
具体的には、マッピングプロセス中にマルチチャネル最適化を採用し、外観、幾何学的、および意味論的な制約をキーフレームの最適化と統合して、再構成の品質を向上させることを提案します。
広範な実験により、SGS-SLAM がカメラ姿勢推定、マップ再構築、セマンティック セグメンテーションにおいて最先端のパフォーマンスを実現することが実証されました。
既存の方法を大幅に上回るパフォーマンスを実現しながら、リアルタイム レンダリング能力も維持します。

要約(オリジナル)

Semantic understanding plays a crucial role in Dense Simultaneous Localization and Mapping (SLAM). Recent advancements that integrate Gaussian Splatting into SLAM systems have demonstrated its effectiveness in generating high-quality renderings. Building on this progress, we propose SGS-SLAM which provides precise 3D semantic segmentation alongside high-fidelity reconstructions. Specifically, we propose to employ multi-channel optimization during the mapping process, integrating appearance, geometric, and semantic constraints with key-frame optimization to enhance reconstruction quality. Extensive experiments demonstrate that SGS-SLAM delivers state-of-the-art performance in camera pose estimation, map reconstruction, and semantic segmentation. It outperforms existing methods by a large margin meanwhile preserves real-time rendering ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google