MR-COGraphs: Communication-efficient Multi-Robot Open-vocabulary Mapping System via 3D Scene Graphs

要約

未知の環境における共同認識は、マルチロボット システムにとって非常に重要です。
基礎モデルの出現により、ロボットは幾何学的情報を認識できるだけでなく、オープンな語彙シーンの理解を達成できるようになりました。
ただし、オープン語彙クエリをサポートする既存の地図表現には大量のデータが含まれることが多く、これが通信が制限された環境での複数ロボットの送信のボトルネックになります。
この課題に対処するために、COGraph と呼ばれるグラフ構造の 3D 表現を構築する方法を開発しました。この方法では、ノードが意味論的な特徴を持つオブジェクトを表し、エッジがそれらの空間関係をキャプチャします。
送信前に、データ駆動型の特徴エンコーダーが適用されて、COGraph の特徴次元が圧縮されます。
他のロボットから COGraph を受信すると、デコーダを使用して各ノードの意味的特徴が復元されます。
また、場所認識と翻訳推定のための特徴ベースのアプローチを提案し、ローカル COGraph を統合されたグローバル マップに統合できるようにします。
Isaac Sim と現実世界のデータセット上に構築されたシミュレーション環境を使用してフレームワークを検証します。
結果は、セマンティック点群と 512 次元 COGraph の送信と比較して、私たちのフレームワークはマッピングとクエリのパフォーマンスを損なうことなく、データ量を 2 桁削減できることを示しています。
詳細については、当社の Web サイト (https://github.com/efc-robot/MR-COGraphs) をご覧ください。

要約(オリジナル)

Collaborative perception in unknown environments is crucial for multi-robot systems. With the emergence of foundation models, robots can now not only perceive geometric information but also achieve open-vocabulary scene understanding. However, existing map representations that support open-vocabulary queries often involve large data volumes, which becomes a bottleneck for multi-robot transmission in communication-limited environments. To address this challenge, we develop a method to construct a graph-structured 3D representation called COGraph, where nodes represent objects with semantic features and edges capture their spatial relationships. Before transmission, a data-driven feature encoder is applied to compress the feature dimensions of the COGraph. Upon receiving COGraphs from other robots, the semantic features of each node are recovered using a decoder. We also propose a feature-based approach for place recognition and translation estimation, enabling the merging of local COGraphs into a unified global map. We validate our framework using simulation environments built on Isaac Sim and real-world datasets. The results demonstrate that, compared to transmitting semantic point clouds and 512-dimensional COGraphs, our framework can reduce the data volume by two orders of magnitude, without compromising mapping and query performance. For more details, please visit our website at https://github.com/efc-robot/MR-COGraphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google