MR-COGraphs: Communication-efficient Multi-Robot Open-vocabulary Mapping System via 3D Scene Graphs

要約

未知の環境での共同認識は、マルチロボットシステムにとって重要です。
基礎モデルの出現により、ロボットは幾何学的な情報を知覚するだけでなく、オープンボキャブラリーシーンの理解を達成できるようになりました。
ただし、オープンボキャブラリークエリをサポートする既存のマップ表現には、多くの場合、大量のデータ量が含まれ、通信制限環境でのマルチロボット伝送のボトルネックになります。
この課題に対処するために、コグラフと呼ばれるグラフ構造の3D表現を構築する方法を開発します。ここでは、ノードはセマンティック機能を持つオブジェクトを表し、エッジは空間的隣接関係をキャプチャします。
伝送の前に、データ駆動型機能エンコーダーが適用され、コグラフの特徴寸法を圧縮します。
他のロボットからコグラフを受信すると、各ノードのセマンティック機能がデコーダーを使用して回復します。
また、場所の認識と翻訳推定のための機能ベースのアプローチを提案し、ローカルコグラフと統一されたグローバルマップへの融合を可能にします。
2つの現実的なデータセットと実際の環境でフレームワークを検証します。
結果は、オープンボキャブラリーマップ構造の既存のベースラインと比較して、我々のフレームワークにより、マッピングとクエリのパフォーマンスを妥協せずに維持しながら、データ量を80 \％以上削減することが示されています。
詳細については、当社のWebサイトhttps://github.com/efc-robot/mr-cographsをご覧ください。

要約(オリジナル)

Collaborative perception in unknown environments is crucial for multi-robot systems. With the emergence of foundation models, robots can now not only perceive geometric information but also achieve open-vocabulary scene understanding. However, existing map representations that support open-vocabulary queries often involve large data volumes, which becomes a bottleneck for multi-robot transmission in communication-limited environments. To address this challenge, we develop a method to construct a graph-structured 3D representation called COGraph, where nodes represent objects with semantic features and edges capture their spatial adjacency relationships. Before transmission, a data-driven feature encoder is applied to compress the feature dimensions of the COGraph. Upon receiving COGraphs from other robots, the semantic features of each node are recovered using a decoder. We also propose a feature-based approach for place recognition and translation estimation, enabling the merging of local COGraphs into a unified global map. We validate our framework on two realistic datasets and the real-world environment. The results demonstrate that, compared to existing baselines for open-vocabulary map construction, our framework reduces the data volume by over 80\% while maintaining mapping and query performance without compromise. For more details, please visit our website at https://github.com/efc-robot/MR-COGraphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google