SOS-SLAM: Segmentation for Open-Set SLAM in Unstructured Environments

要約

我々は、セグメンテーションを使用してオブジェクトのマップとローカリゼーションのためのオブジェクト間の幾何学的関係を作成する、非構造化環境におけるオープンセットの同時ローカリゼーションとマッピング (SLAM) のための新しいフレームワークを紹介します。
私たちのシステムは、1) ゼロショット セグメンテーション モデルを使用して画像からオブジェクト マスクを抽出し、フレーム全体でそれらを追跡してオブジェクト ベースのマップを生成するフロントエンド マッピング パイプラインと、2) の幾何学的一貫性を使用するフレーム アライメント パイプラインで構成されます。
さまざまな条件で撮影されたマップ内でオブジェクトの位置を効率的に特定します。
このアプローチは、従来の機能ベースの SLAM システムやグローバル記述子手法よりも、照明や外観の変化に対してより堅牢であることが示されています。
これは、さまざまな季節や照明条件でフィンランド南部の沿岸地域で収集されたドローン飛行を含む、Batvik 季節データセットで SOS-SLAM を評価することによって確立されます。
さまざまな環境条件でのフライト全体で、私たちのアプローチは精度 1.0 のベンチマーク手法よりも高い再現率を達成します。
SOS-SLAM は、他のフィーチャベースのアプローチよりも最大 14 倍高速に参照マップ内でローカライズを行い、マップ サイズは他の最もコンパクトなマップのサイズの 0.4% 未満です。
さまざまな観点からローカリゼーションのパフォーマンスを考慮すると、私たちのアプローチは、同じ観点からのすべてのベンチマークおよび異なる観点からのほとんどのベンチマークよりも優れています。
SOS-SLAM は、照明や外観の変化に強く、他のアプローチよりも計算効率が高い、非構造化環境における SLAM の有望な新しいアプローチです。
コードとデータセットを https://acl.mit.edu/SOS-SLAM/ でリリースします。

要約(オリジナル)

We present a novel framework for open-set Simultaneous Localization and Mapping (SLAM) in unstructured environments that uses segmentation to create a map of objects and geometric relationships between objects for localization. Our system consists of 1) a front-end mapping pipeline using a zero-shot segmentation model to extract object masks from images and track them across frames to generate an object-based map and 2) a frame alignment pipeline that uses the geometric consistency of objects to efficiently localize within maps taken in a variety of conditions. This approach is shown to be more robust to changes in lighting and appearance than traditional feature-based SLAM systems or global descriptor methods. This is established by evaluating SOS-SLAM on the Batvik seasonal dataset which includes drone flights collected over a coastal plot of southern Finland during different seasons and lighting conditions. Across flights during varying environmental conditions, our approach achieves higher recall than benchmark methods with precision of 1.0. SOS-SLAM localizes within a reference map up to 14x faster than other feature based approaches and has a map size less than 0.4% the size of the most compact other maps. When considering localization performance from varying viewpoints, our approach outperforms all benchmarks from the same viewpoint and most benchmarks from different viewpoints. SOS-SLAM is a promising new approach for SLAM in unstructured environments that is robust to changes in lighting and appearance and is more computationally efficient than other approaches. We release our code and datasets: https://acl.mit.edu/SOS-SLAM/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google