GRID: Scene-Graph-based Instruction-driven Robotic Task Planning

要約

最近の研究では、大規模言語モデル (LLM) がロボットのタスク計画へのグラウンディング命令を促進できることが示されています。
進歩にもかかわらず、既存の研究のほとんどは、LLM が環境情報を理解できるように生画像を利用することに焦点を当てていました。これにより、観測範囲が制限されるだけでなく、通常、大量のマルチモーダルなデータ収集と大規模なモデルが必要になります。
この論文では、グラフベースのロボット命令デコンポーザー (GRID) と呼ばれる新しいアプローチを提案します。これは、画像の代わりにシーン グラフを活用してグローバル シーン情報を認識し、特定の命令の各ステージでサブタスクを継続的に計画します。
私たちの方法は、LLM とグラフ アテンション ネットワークを通じてオブジェクトの属性と関係をグラフにエンコードし、事前定義されたロボットの動作とシーン グラフ内のターゲット オブジェクトで構成されるサブタスクを予測するための命令機能を統合します。
この戦略により、ロボットは環境内で広く観察される意味知識をシーングラフから取得できるようになります。
GRID をトレーニングして評価するために、グラフベースのロボット タスク プランニングで合成データセットを生成するデータセット構築パイプラインを構築します。
実験の結果、私たちの方法はサブタスク精度で 25.4% 以上、タスク精度で 43.6% 以上 GPT-4 よりも優れていることが示されました。
未見のシーンとオブジェクトの数が異なるシーンのデータセットに対して行われた実験では、GRID のタスク精度が最大 3.8% 低下することが示され、シーンをまたがる汎化能力が優れていることが示されました。
私たちは物理シミュレーションと現実世界の両方でメソッドを検証します。

要約(オリジナル)

Recent works have shown that Large Language Models (LLMs) can promote grounding instructions to robotic task planning. Despite the progress, most existing works focused on utilizing raw images to help LLMs understand environmental information, which not only limits the observation scope but also typically requires massive multimodal data collection and large-scale models. In this paper, we propose a novel approach called Graph-based Robotic Instruction Decomposer (GRID), leverages scene graph instead of image to perceive global scene information and continuously plans subtask in each stage for a given instruction. Our method encodes object attributes and relationships in graphs through an LLM and Graph Attention Networks, integrating instruction features to predict subtasks consisting of pre-defined robot actions and target objects in the scene graph. This strategy enables robots to acquire semantic knowledge widely observed in the environment from the scene graph. To train and evaluate GRID, we build a dataset construction pipeline to generate synthetic datasets in graph-based robotic task planning. Experiments have shown that our method outperforms GPT-4 by over 25.4% in subtask accuracy and 43.6% in task accuracy. Experiments conducted on datasets of unseen scenes and scenes with different numbers of objects showed that the task accuracy of GRID declined by at most 3.8%, which demonstrates its good cross-scene generalization ability. We validate our method in both physical simulation and the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google