要約
我々は、3D ガウス表現を利用した初のセマンティック SLAM システムである SemGauss-SLAM を提案します。これにより、正確な 3D セマンティック マッピング、堅牢なカメラ トラッキング、リアルタイムでの高品質のレンダリングが可能になります。
このシステムでは、3D ガウス表現に意味論的特徴の埋め込みを組み込み、環境の空間レイアウト内の意味論的情報を効果的にエンコードして、正確な意味論的シーン表現を実現します。
さらに、3D ガウス表現を更新するための機能レベルの損失を提案し、3D ガウス最適化のためのより高いレベルのガイダンスを可能にします。
さらに、累積ドリフトを軽減し、再構成精度を向上させるために、3D ガウス表現とカメラ ポーズの共同最適化にセマンティック関連付けを活用したセマンティック情報に基づいたバンドル調整を導入し、より堅牢なトラッキングと一貫したマッピングを実現します。
当社の SemGauss-SLAM メソッドは、レプリカおよび ScanNet データセットのマッピングと追跡精度の点で、既存の高密度セマンティック SLAM メソッドよりも優れたパフォーマンスを実証すると同時に、新規ビューのセマンティック合成と 3D セマンティック マッピングでも優れた機能を示します。
要約(オリジナル)
We propose SemGauss-SLAM, the first semantic SLAM system utilizing 3D Gaussian representation, that enables accurate 3D semantic mapping, robust camera tracking, and high-quality rendering in real-time. In this system, we incorporate semantic feature embedding into 3D Gaussian representation, which effectively encodes semantic information within the spatial layout of the environment for precise semantic scene representation. Furthermore, we propose feature-level loss for updating 3D Gaussian representation, enabling higher-level guidance for 3D Gaussian optimization. In addition, to reduce cumulative drift and improve reconstruction accuracy, we introduce semantic-informed bundle adjustment leveraging semantic associations for joint optimization of 3D Gaussian representation and camera poses, leading to more robust tracking and consistent mapping. Our SemGauss-SLAM method demonstrates superior performance over existing dense semantic SLAM methods in terms of mapping and tracking accuracy on Replica and ScanNet datasets, while also showing excellent capabilities in novel-view semantic synthesis and 3D semantic mapping.
arxiv情報
| 著者 | Siting Zhu,Renjie Qin,Guangming Wang,Jiuming Liu,Hesheng Wang |
| 発行日 | 2024-03-12 10:33:26+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google