要約
我々は、3D ガウス表現を利用した高密度セマンティック SLAM システムである SemGauss-SLAM を提案します。これにより、正確な 3D セマンティック マッピング、堅牢なカメラ トラッキング、および高品質のレンダリングが同時に可能になります。
このシステムでは、3D ガウス表現に意味論的特徴の埋め込みを組み込み、環境の空間レイアウト内の意味論的情報を効果的にエンコードして、正確な意味論的シーン表現を実現します。
さらに、3D ガウス表現を更新するための機能レベルの損失を提案し、3D ガウス最適化のためのより高いレベルのガイダンスを可能にします。
さらに、トラッキングにおける累積ドリフトを削減し、セマンティック再構築の精度を向上させるために、マルチフレームのセマンティック関連付けを活用したセマンティック情報に基づいたバンドル調整を導入し、3D ガウス表現とカメラのポーズを共同最適化することで、ドリフトの少ないトラッキングと正確なマッピングを実現します。
当社の SemGauss-SLAM メソッドは、レプリカおよび ScanNet データセットのマッピングと追跡精度の点で、既存の放射フィールドベースの SLAM メソッドよりも優れたパフォーマンスを実証すると同時に、高精度のセマンティック セグメンテーションと高密度のセマンティック マッピングでも優れた機能を示します。
要約(オリジナル)
We propose SemGauss-SLAM, a dense semantic SLAM system utilizing 3D Gaussian representation, that enables accurate 3D semantic mapping, robust camera tracking, and high-quality rendering simultaneously. In this system, we incorporate semantic feature embedding into 3D Gaussian representation, which effectively encodes semantic information within the spatial layout of the environment for precise semantic scene representation. Furthermore, we propose feature-level loss for updating 3D Gaussian representation, enabling higher-level guidance for 3D Gaussian optimization. In addition, to reduce cumulative drift in tracking and improve semantic reconstruction accuracy, we introduce semantic-informed bundle adjustment leveraging multi-frame semantic associations for joint optimization of 3D Gaussian representation and camera poses, leading to low-drift tracking and accurate mapping. Our SemGauss-SLAM method demonstrates superior performance over existing radiance field-based SLAM methods in terms of mapping and tracking accuracy on Replica and ScanNet datasets, while also showing excellent capabilities in high-precision semantic segmentation and dense semantic mapping.
arxiv情報
| 著者 | Siting Zhu,Renjie Qin,Guangming Wang,Jiuming Liu,Hesheng Wang |
| 発行日 | 2024-05-29 06:10:36+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google