Loop Closure Detection Based on Object-level Spatial Layout and Semantic Consistency

要約

タイトル：物体レベルの空間的レイアウトと意味的一貫性に基づくループ閉じ込め検出

要約：本研究では、大幅な視点変更の状況下でのループ閉じ込め検出に直面する視覚的同時位置推定及び地図作成（SLAM）システムについての研究を行いました。まず、セマンティックラベル、IoU（交差率）、物体の色、物体の埋め込みから得られた意味情報に基づく物体レベルのデータ関連性アプローチを提案しました。次に、関連付けられた物体を使用したマルチビューバンドル調整を行い、オブジェクトとカメラのポーズを共同最適化しました。さらに、修正されたオブジェクトをセマンティックとトポロジーを持つ3D空間グラフとして表現しました。そして、頂点の近くの構造レイアウトとセマンティック特性の類似性に基づいて対応するオブジェクトを選択するグラフマッチングアプローチを提案しました。最後に、オブジェクトレベルのポーズグラフ最適化によって、カメラ軌跡とオブジェクトポーズを共同最適化し、グローバルに一貫したマップを生成しました。実験結果から、提案されたデータ関連性アプローチによってより正確な3Dセマンティック地図を構築でき、大幅な視点変更がある状況でも、ループ閉じ込め方法が従来の点ベースやオブジェクトベースの方法よりも堅牢であることが示されました。

– 大幅な視点変更がある状況下でループ閉じ込め検出に直面する視覚的同時位置推定及び地図作成（SLAM）システムについての研究
– 物体レベルのデータ関連性アプローチを提案
– 関連付けられた物体を使用したマルチビューバンドル調整を行い、オブジェクトとカメラのポーズを共同最適化
– 修正されたオブジェクトをセマンティックとトポロジーを持つ3D空間グラフとして表現
– 構造レイアウトとセマンティック特性の類似性に基づいて対応するオブジェクトを選択するグラフマッチングアプローチを提案
– オブジェクトレベルのポーズグラフ最適化により、カメラ軌跡とオブジェクトポーズを共同最適化して、グローバルに一貫したマップを生成

要約(オリジナル)

Visual simultaneous localization and mapping (SLAM) systems face challenges in detecting loop closure under the circumstance of large viewpoint changes. In this paper, we present an object-based loop closure detection method based on the spatial layout and semanic consistency of the 3D scene graph. Firstly, we propose an object-level data association approach based on the semantic information from semantic labels, intersection over union (IoU), object color, and object embedding. Subsequently, multi-view bundle adjustment with the associated objects is utilized to jointly optimize the poses of objects and cameras. We represent the refined objects as a 3D spatial graph with semantics and topology. Then, we propose a graph matching approach to select correspondence objects based on the structure layout and semantic property similarity of vertices’ neighbors. Finally, we jointly optimize camera trajectories and object poses in an object-level pose graph optimization, which results in a globally consistent map. Experimental results demonstrate that our proposed data association approach can construct more accurate 3D semantic maps, and our loop closure method is more robust than point-based and object-based methods in circumstances with large viewpoint changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI