LLM3:Large Language Model-based Task and Motion Planning with Motion Failure Reasoning

要約

従来のタスクおよびモーション プランニング (TAMP) アプローチは、シンボリック タスク プランニングと連続モーション生成を接続する手動で作成されたインターフェイスに依存しています。
これらのドメイン固有で労働集約的なモジュールは、現実世界の設定で新たなタスクに対処するには限界があります。
ここでは、ドメインに依存しないインターフェイスを特徴とする新しいラージ言語モデル (LLM) ベースの TAMP フレームワークである LLM^3 を紹介します。
具体的には、事前トレーニングされた LLM の強力な推論および計画機能を活用して、象徴的なアクション シーケンスを提案し、動作計画のための連続アクション パラメーターを選択します。
重要なのは、LLM^3 にはプロンプトによる動作計画のフィードバックが組み込まれており、LLM が動作の失敗について推論して提案を反復的に改良できるようになります。
その結果、LLM^3 はタスク計画と動作計画の間のインターフェイスとなり、それらの間でドメイン固有のメッセージを処理する複雑な設計プロセスを軽減します。
箱詰めドメインでの一連のシミュレーションを通じて、TAMP 問題の解決における LLM^3 の有効性とアクション パラメーターの選択における効率を定量的に実証します。
アブレーション研究は、LLM^3 の成功に対する運動障害推論の重要な貢献を強調しています。
さらに、物理マニピュレーターで定性実験を行い、現実世界の設定でのアプローチの実際的な適用可能性を実証します。

要約(オリジナル)

Conventional Task and Motion Planning (TAMP) approaches rely on manually crafted interfaces connecting symbolic task planning with continuous motion generation. These domain-specific and labor-intensive modules are limited in addressing emerging tasks in real-world settings. Here, we present LLM^3, a novel Large Language Model (LLM)-based TAMP framework featuring a domain-independent interface. Specifically, we leverage the powerful reasoning and planning capabilities of pre-trained LLMs to propose symbolic action sequences and select continuous action parameters for motion planning. Crucially, LLM^3 incorporates motion planning feedback through prompting, allowing the LLM to iteratively refine its proposals by reasoning about motion failure. Consequently, LLM^3 interfaces between task planning and motion planning, alleviating the intricate design process of handling domain-specific messages between them. Through a series of simulations in a box-packing domain, we quantitatively demonstrate the effectiveness of LLM^3 in solving TAMP problems and the efficiency in selecting action parameters. Ablation studies underscore the significant contribution of motion failure reasoning to the success of LLM^3. Furthermore, we conduct qualitative experiments on a physical manipulator, demonstrating the practical applicability of our approach in real-world settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google