Collaborative Dynamic 3D Scene Graphs for Open-Vocabulary Urban Scene Understanding

要約

マッピングとシーンの表現は、モバイルロボットの信頼できる計画とナビゲーションの基本です。
ボクセルグリッドを使用した純粋に幾何学的なマップにより、一般的なナビゲーションが可能になりますが、動的な大規模環境にスケーリングする最新の空間的で意味的に豊富な表現を取得することは依然として困難です。
この作業では、マルチエージェントコラボレーションを介して都市の運転シーンの階層分解を生成するオープンボキャブラリーダイナミック3DシーングラフエンジンであるCurb-OSGを紹介します。
複数の知覚エージェントからのカメラとライダーの観察結果を未知の初期ポーズで融合させることにより、シーンの統一されたオープンボキャブラリーセマンティック階層を構築しながら、単一のエージェントと比較してより正確なマップを生成します。
グラウンドトゥルースエージェントに依存する以前の方法とは異なり、純粋にシミュレーションで純粋に評価されているのとは異なり、Curb-OSGはこれらの制約を緩和します。
Oxford Radar Robotcar Datasetの複数のセッションから取得した実際のマルチエージェントセンサーデータで、Curb-OSGの機能を評価します。
マルチエージェントコラボレーションを通じて改善されたマッピングとオブジェクトの予測の精度を示し、提案されたアプローチの環境分割機能を評価します。
さらなる調査を促進するために、https：//ov-curb.cs.uni-freiburg.deでコードと補足資料をリリースします。

要約(オリジナル)

Mapping and scene representation are fundamental to reliable planning and navigation in mobile robots. While purely geometric maps using voxel grids allow for general navigation, obtaining up-to-date spatial and semantically rich representations that scale to dynamic large-scale environments remains challenging. In this work, we present CURB-OSG, an open-vocabulary dynamic 3D scene graph engine that generates hierarchical decompositions of urban driving scenes via multi-agent collaboration. By fusing the camera and LiDAR observations from multiple perceiving agents with unknown initial poses, our approach generates more accurate maps compared to a single agent while constructing a unified open-vocabulary semantic hierarchy of the scene. Unlike previous methods that rely on ground truth agent poses or are evaluated purely in simulation, CURB-OSG alleviates these constraints. We evaluate the capabilities of CURB-OSG on real-world multi-agent sensor data obtained from multiple sessions of the Oxford Radar RobotCar dataset. We demonstrate improved mapping and object prediction accuracy through multi-agent collaboration as well as evaluate the environment partitioning capabilities of the proposed approach. To foster further research, we release our code and supplementary material at https://ov-curb.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google