NEDS-SLAM: A Neural Explicit Dense Semantic SLAM Framework using 3D Gaussian Splatting

要約

我々は、3次元ガウス表現に基づく高密度セマンティックSLAMシステムであるNEDS-SLAMを提案し、ロバストな3次元セマンティックマッピング、正確なカメラトラッキング、高品質なレンダリングをリアルタイムで実現する。このシステムでは、空間的に一貫した特徴融合モデルを提案し、事前に訓練されたセグメンテーションヘッドからの誤った推定値が意味再構成に与える影響を低減し、ロバストな3D意味ガウスマッピングを実現する。さらに、高次元の意味特徴をコンパクトな3次元ガウス表現に圧縮する軽量エンコーダ・デコーダを採用し、過剰なメモリ消費の負担を軽減する。さらに、効率的で微分可能な新規ビューレンダリングを可能にする3Dガウススプラッティングの利点を活用し、外れ値のガウスを除去する仮想カメラビュープルーニング法を提案することで、シーン表現の品質を効果的に向上させる。我々のNEDS-SLAM法は、ReplicaデータセットとScanNetデータセットにおいて、マッピングとトラッキング精度の点で既存の密な意味SLAM法に勝る性能を示すとともに、3D密な意味マッピングにおいても優れた能力を示す。

要約(オリジナル)

We propose NEDS-SLAM, a dense semantic SLAM system based on 3D Gaussian representation, that enables robust 3D semantic mapping, accurate camera tracking, and high-quality rendering in real-time. In the system, we propose a Spatially Consistent Feature Fusion model to reduce the effect of erroneous estimates from pre-trained segmentation head on semantic reconstruction, achieving robust 3D semantic Gaussian mapping. Additionally, we employ a lightweight encoder-decoder to compress the high-dimensional semantic features into a compact 3D Gaussian representation, mitigating the burden of excessive memory consumption. Furthermore, we leverage the advantage of 3D Gaussian splatting, which enables efficient and differentiable novel view rendering, and propose a Virtual Camera View Pruning method to eliminate outlier gaussians, thereby effectively enhancing the quality of scene representations. Our NEDS-SLAM method demonstrates competitive performance over existing dense semantic SLAM methods in terms of mapping and tracking accuracy on Replica and ScanNet datasets, while also showing excellent capabilities in 3D dense semantic mapping.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL