要約
このペーパーでは、OVO-SLAM と呼ばれる、最初の Open-Vocabulary Online 3D セマンティック SLAM パイプラインを紹介します。
私たちの主な貢献はパイプライン自体、特にマッピング スレッドです。
一連のポーズが設定された RGB-D フレームが与えられると、3D セグメントが検出および追跡されます。このセグメントは、CLIP ベクトルを使用して記述され、これらの 3D セグメントが観察される視点からの新しい集約によって計算されます。
特に、当社の OVO-SLAM パイプラインは、文献に記載されているオフライン アプローチと比較して高速なだけでなく、より優れたセグメンテーション メトリクスを実現します。
優れたセグメンテーション パフォーマンスに加えて、Gaussian-SLAM と統合された貢献の実験結果を示します。これは、グラウンド トゥルース カメラのポーズやシーンのジオメトリに依存せずに、エンドツーエンドのオープン語彙のオンライン 3D 再構成を実証する最初の結果です。
要約(オリジナル)
This paper presents the first Open-Vocabulary Online 3D semantic SLAM pipeline, that we denote as OVO-SLAM. Our primary contribution is in the pipeline itself, particularly in the mapping thread. Given a set of posed RGB-D frames, we detect and track 3D segments, which we describe using CLIP vectors, calculated through a novel aggregation from the viewpoints where these 3D segments are observed. Notably, our OVO-SLAM pipeline is not only faster but also achieves better segmentation metrics compared to offline approaches in the literature. Along with superior segmentation performance, we show experimental results of our contributions integrated with Gaussian-SLAM, being the first ones demonstrating end-to-end open-vocabulary online 3D reconstructions without relying on ground-truth camera poses or scene geometry.
arxiv情報
| 著者 | Tomas Berriel Martins,Martin R. Oswald,Javier Civera |
| 発行日 | 2024-11-22 16:25:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google