LEMMA: Learning Language-Conditioned Multi-Robot Manipulation

要約

複雑な操作タスクでは、連携するための補完的な機能を備えたロボットが必要になることがよくあります。
卓上設定での人間の言語命令に基づくタスク割り当てと長期オブジェクト操作に焦点を当てた、LanguagE-Conditioned Multi-robot MAnipulation (LEMMA) のベンチマークを紹介します。
LEMMA には、さまざまな複雑さの 8 種類の手続き的に生成されたタスクが含まれており、その中にはロボットがツールを使用したり、相互にツールを渡したりする必要があるものもあります。
タスクごとに、800 件の専門家によるデモンストレーションと、トレーニングと評価のための人による指示が提供されます。
LEMMA は、システムが各マニピュレータの制限を特定し、それに応じてサブタスクを割り当てると同時に、各タスクの強い時間的依存関係も処理する必要があるため、既存のベンチマークと比較して大きな課題をもたらします。
これらの課題に対処するために、ベースラインとしてモジュール型の階層計画アプローチを提案します。
私たちの結果は、将来の言語条件付きマルチロボットシステムの開発におけるLEMMAの可能性を浮き彫りにしています。

要約(オリジナル)

Complex manipulation tasks often require robots with complementary capabilities to collaborate. We introduce a benchmark for LanguagE-Conditioned Multi-robot MAnipulation (LEMMA) focused on task allocation and long-horizon object manipulation based on human language instructions in a tabletop setting. LEMMA features 8 types of procedurally generated tasks with varying degree of complexity, some of which require the robots to use tools and pass tools to each other. For each task, we provide 800 expert demonstrations and human instructions for training and evaluations. LEMMA poses greater challenges compared to existing benchmarks, as it requires the system to identify each manipulator’s limitations and assign sub-tasks accordingly while also handling strong temporal dependencies in each task. To address these challenges, we propose a modular hierarchical planning approach as a baseline. Our results highlight the potential of LEMMA for developing future language-conditioned multi-robot systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google