NEDS-SLAM: A Novel Neural Explicit Dense Semantic SLAM Framework using 3D Gaussian Splatting

要約

我々は、3D ガウス表現に基づく Explicit Dense セマンティック SLAM システムである NEDS-SLAM を提案します。これにより、堅牢な 3D セマンティック マッピング、正確なカメラ トラッキング、リアルタイムでの高品質のレンダリングが可能になります。
このシステムでは、事前にトレーニングされたセグメンテーション ヘッドからのセマンティック再構築に対する誤った推定の影響を軽減する空間的に一貫した特徴融合モデルを提案し、堅牢な 3D セマンティック ガウス マッピングを実現します。
さらに、軽量のエンコーダ/デコーダを採用して、高次元のセマンティック特徴をコンパクトな 3D ガウス表現に圧縮し、過剰なメモリ消費の負担を軽減します。
さらに、効率的で微分可能な新しいビューのレンダリングを可能にする 3D ガウス スプラッティングの利点を活用し、外れ値の GS ポイントを除去する仮想カメラ ビュー プルーニング手法を提案します。これにより、シーン表現の品質が効果的に向上します。
当社の NEDS-SLAM メソッドは、レプリカおよび ScanNet データセットのマッピングと追跡精度の点で、既存の高密度セマンティック SLAM メソッドに匹敵するパフォーマンスを実証すると同時に、3D 高密度セマンティック マッピングでも優れた機能を示します。

要約(オリジナル)

We propose NEDS-SLAM, an Explicit Dense semantic SLAM system based on 3D Gaussian representation, that enables robust 3D semantic mapping, accurate camera tracking, and high-quality rendering in real-time. In the system, we propose a Spatially Consistent Feature Fusion model to reduce the effect of erroneous estimates from pre-trained segmentation head on semantic reconstruction, achieving robust 3D semantic Gaussian mapping. Additionally, we employ a lightweight encoder-decoder to compress the high-dimensional semantic features into a compact 3D Gaussian representation, mitigating the burden of excessive memory consumption. Furthermore, we leverage the advantage of 3D Gaussian splatting, which enables efficient and differentiable novel view rendering, and propose a Virtual Camera View Pruning method to eliminate outlier GS points, thereby effectively enhancing the quality of scene representations. Our NEDS-SLAM method demonstrates competitive performance over existing dense semantic SLAM methods in terms of mapping and tracking accuracy on Replica and ScanNet datasets, while also showing excellent capabilities in 3D dense semantic mapping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google