要約
最新のガウス散布法は、3Dシーンのリアルタイムフォトリアリスティックレンダリングに非常に有効であることが証明されている。しかし、この表現に意味情報を統合することは、特にSLAM（Simultaneous Localization and Mapping）アプリケーションのリアルタイム性能を維持する上で、依然として重要な課題である。LEG-SLAMは、最適化されたガウススプラッティングの実装と、DINOv2を用いた視覚言語による特徴抽出、および主成分分析に基づく学習可能な特徴圧縮器を融合した新しいアプローチである。我々の手法は、高品質なフォトリアリスティック画像と意味的にラベル付けされたシーンマップを同時に生成し、Replicaデータセットでは10fps以上、ScanNetでは18fps以上のリアルタイムシーン再構成を達成する。実験結果は、我々のアプローチが、競争力のあるレンダリング品質を達成しながら、再構成速度において最先端の手法を大幅に上回ることを示している。提案システムは、カメラのエゴモーションや事前に計算された静的意味マップのような事前のデータ準備を不要にする。LEG-SLAMは、自律ロボット工学、拡張現実、および他のインタラクティブな領域への応用の可能性があり、リアルタイム意味的3DガウスベースSLAMにおける重要な前進を意味する。プロジェクトページ: https://titrom025.github.io/LEG-SLAM/
要約(オリジナル)
Modern Gaussian Splatting methods have proven highly effective for real-time photorealistic rendering of 3D scenes. However, integrating semantic information into this representation remains a significant challenge, especially in maintaining real-time performance for SLAM (Simultaneous Localization and Mapping) applications. In this work, we introduce LEG-SLAM — a novel approach that fuses an optimized Gaussian Splatting implementation with visual-language feature extraction using DINOv2 followed by a learnable feature compressor based on Principal Component Analysis, while enabling an online dense SLAM. Our method simultaneously generates high-quality photorealistic images and semantically labeled scene maps, achieving real-time scene reconstruction with more than 10 fps on the Replica dataset and 18 fps on ScanNet. Experimental results show that our approach significantly outperforms state-of-the-art methods in reconstruction speed while achieving competitive rendering quality. The proposed system eliminates the need for prior data preparation such as camera’s ego motion or pre-computed static semantic maps. With its potential applications in autonomous robotics, augmented reality, and other interactive domains, LEG-SLAM represents a significant step forward in real-time semantic 3D Gaussian-based SLAM. Project page: https://titrom025.github.io/LEG-SLAM/
arxiv情報
| 著者 | Roman Titkov,Egor Zubkov,Dmitry Yudin,Jaafar Mahmoud,Malik Mohrat,Gennady Sidorov |
| 発行日 | 2025-06-03 16:51:59+00:00 |
| arxivサイト | arxiv_id(pdf) |