Language-Grounded Hierarchical Planning and Execution with Multi-Robot 3D Scene Graphs

要約

このホワイトペーパーでは、3Dシーングラフで有効になったマッピング、ローカリゼーション、およびタスクおよびモーションプランニング（TAMP）を統合して、自然言語で表現された複雑な指示を実行するマルチロボットシステムを紹介します。
当社のシステムは、オープンセットのオブジェクトベースのマップを組み込んだ共有3Dシーングラフを構築します。これは、マルチロボット3Dシーングラフフュージョンにレバレッジされています。
この表現は、リアルタイムのビュー不変の再局在化（オブジェクトベースのマップを介して）と計画（3Dシーングラフを介して）をサポートし、ロボットのチームが周囲について推論し、複雑なタスクを実行できるようにします。
さらに、共有3Dシーングラフとロボット機能からコンテキストを活用することにより、オペレーターの意図を大規模な言語モデル（LLM）を使用して計画ドメイン定義言語（PDDL）目標に変換する計画アプローチを紹介します。
大規模で屋外環境での実際のタスクに関するシステムのパフォーマンスの実験的評価を提供します。

要約(オリジナル)

In this paper, we introduce a multi-robot system that integrates mapping, localization, and task and motion planning (TAMP) enabled by 3D scene graphs to execute complex instructions expressed in natural language. Our system builds a shared 3D scene graph incorporating an open-set object-based map, which is leveraged for multi-robot 3D scene graph fusion. This representation supports real-time, view-invariant relocalization (via the object-based map) and planning (via the 3D scene graph), allowing a team of robots to reason about their surroundings and execute complex tasks. Additionally, we introduce a planning approach that translates operator intent into Planning Domain Definition Language (PDDL) goals using a Large Language Model (LLM) by leveraging context from the shared 3D scene graph and robot capabilities. We provide an experimental assessment of the performance of our system on real-world tasks in large-scale, outdoor environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google