LLM+MAP: Bimanual Robot Task Planning using Large Language Models and Planning Domain Definition Language

要約

両手ロボット操作は重要な汎用性を提供しますが、両手間の空間的および時間的調整に関与する複雑さのために、固有の課題を提示します。
既存の作品は、主にロボットの手の人間レベルの操作スキルを達成することに焦点を当てていますが、長期の時間スケールのタスク計画にはほとんど注意が払われていません。
卓越したコンテキスト内学習とゼロショット生成能力により、大規模な言語モデル（LLM）が適用され、タスク計画を促進するための多様なロボット実施形態に基づいています。
ただし、LLMSは、長期の推論におけるエラーと、複雑なロボットタスクの幻覚に依然として悩まされており、計画を生成する際の論理的正しさの保証がありません。
LLM+Pなどの以前の作品は、シンボリックプランナーを備えたLLMSを拡張しました。
ただし、双方向ロボットに正常に適用されているものはありません。
新しい課題は必然的に両操作で発生し、効果的なタスク分解だけでなく、効率的なタスク割り当ても必要です。
これらの課題に対処するために、このペーパーでは、LLMの推論とマルチエージェント計画を統合し、効果的かつ効率的な双方向のタスク計画を自動化する第二の計画フレームワークであるLLM+MAPを紹介します。
私たちは、異なる複雑さのさまざまな長老操作タスクに関するシミュレートされた実験を実施します。
私たちの方法は、GPT-4Oをバックエンドとして使用して構築されており、GPT-4O、V3、最近の強力な推論モデルO1およびR1を含むLLMによって直接生成された計画とそのパフォーマンスを比較します。
計画時間、成功率、グループの借方、計画ステップ削減率などのメトリックを分析することにより、LLM+MAPの優れたパフォーマンスを実証し、ロボット推論に関する洞察も提供します。
コードはhttps://github.com/kchu/llm-mapで入手できます。

要約(オリジナル)

Bimanual robotic manipulation provides significant versatility, but also presents an inherent challenge due to the complexity involved in the spatial and temporal coordination between two hands. Existing works predominantly focus on attaining human-level manipulation skills for robotic hands, yet little attention has been paid to task planning on long-horizon timescales. With their outstanding in-context learning and zero-shot generation abilities, Large Language Models (LLMs) have been applied and grounded in diverse robotic embodiments to facilitate task planning. However, LLMs still suffer from errors in long-horizon reasoning and from hallucinations in complex robotic tasks, lacking a guarantee of logical correctness when generating the plan. Previous works, such as LLM+P, extended LLMs with symbolic planners. However, none have been successfully applied to bimanual robots. New challenges inevitably arise in bimanual manipulation, necessitating not only effective task decomposition but also efficient task allocation. To address these challenges, this paper introduces LLM+MAP, a bimanual planning framework that integrates LLM reasoning and multi-agent planning, automating effective and efficient bimanual task planning. We conduct simulated experiments on various long-horizon manipulation tasks of differing complexity. Our method is built using GPT-4o as the backend, and we compare its performance against plans generated directly by LLMs, including GPT-4o, V3 and also recent strong reasoning models o1 and R1. By analyzing metrics such as planning time, success rate, group debits, and planning-step reduction rate, we demonstrate the superior performance of LLM+MAP, while also providing insights into robotic reasoning. Code is available at https://github.com/Kchu/LLM-MAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google