SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM

要約

我々は、ガウス スプラッティングに基づく初のセマンティック ビジュアル SLAM システムである SGS-SLAM を紹介します。
マルチチャネル最適化を通じて外観、ジオメトリ、セマンティック機能が組み込まれており、高品質のレンダリング、シーンの理解、およびオブジェクトレベルのジオメトリにおけるニューラル暗黙的 SLAM システムの過剰な平滑化の制限に対処します。
オブジェクトの最適化における従来の深度と色の損失の欠点を効果的に補う、独自のセマンティック特徴損失を導入します。
セマンティックに基づいたキーフレーム選択戦略を通じて、累積エラーによって引き起こされる誤った再構築を防ぎます。
広範な実験により、SGS-SLAM がリアルタイム レンダリング機能を確保しながら、カメラの姿勢推定、マップ再構築、正確なセマンティック セグメンテーション、オブジェクト レベルの幾何学的精度において最先端のパフォーマンスを実現することが実証されました。

要約(オリジナル)

We present SGS-SLAM, the first semantic visual SLAM system based on Gaussian Splatting. It incorporates appearance, geometry, and semantic features through multi-channel optimization, addressing the oversmoothing limitations of neural implicit SLAM systems in high-quality rendering, scene understanding, and object-level geometry. We introduce a unique semantic feature loss that effectively compensates for the shortcomings of traditional depth and color losses in object optimization. Through a semantic-guided keyframe selection strategy, we prevent erroneous reconstructions caused by cumulative errors. Extensive experiments demonstrate that SGS-SLAM delivers state-of-the-art performance in camera pose estimation, map reconstruction, precise semantic segmentation, and object-level geometric accuracy, while ensuring real-time rendering capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google