Zero-shot Robotic Manipulation with Language-guided Instruction and Formal Task Planning

要約

ロボットの操作は、長老のタスクと複雑なオブジェクトの関係により、しばしば困難です。
一般的な解決策は、高レベルのタスクと低レベルの動きの計画を統合するタスクとモーション計画のフレームワークを開発することです。
最近、大規模な言語モデル（LLMS）の強力な推論能力に触発されて、LLMベースの計画アプローチは驚くべき進歩を達成しました。
ただし、これらの方法は依然として専門家固有の知識に大きく依存しており、目に見えない馴染みのないタスクの無効な計画を生成することがよくあります。
この問題に対処するために、最適化を伴う革新的な言語誘導シンボリックタスク計画（LM-Symopt）フレームワークを提案します。
LLMSの世界知識と正式な推論を組み合わせて、新しいタスクの一般化能力が改善されるため、これは最初の専門家のない計画フレームワークです。
具体的には、ほとんどの既存の作業とは異なり、LM-SymoptはLLMを採用して自然言語の指示を象徴的な表現に変換し、それによりアクションを高レベルのシンボルとして表現し、計画のための検索スペースを削減します。
次に、LLMSを使用してタスクを完了するアクション確率を評価した後、候補計画を生成するために加重ランダムサンプリング方法が導入されます。
それらの実現可能性は象徴的な推論によって評価され、そのコスト効率は、最適な計画を選択するために軌道最適化を使用して評価されます。
実験結果は、LM-Symoptが既存のLLMベースの計画アプローチを上回ることを示しています。

要約(オリジナル)

Robotic manipulation is often challenging due to the long-horizon tasks and the complex object relationships. A common solution is to develop a task and motion planning framework that integrates planning for high-level task and low-level motion. Recently, inspired by the powerful reasoning ability of Large Language Models (LLMs), LLM-based planning approaches have achieved remarkable progress. However, these methods still heavily rely on expert-specific knowledge, often generating invalid plans for unseen and unfamiliar tasks. To address this issue, we propose an innovative language-guided symbolic task planning (LM-SymOpt) framework with optimization. It is the first expert-free planning framework since we combine the world knowledge from LLMs with formal reasoning, resulting in improved generalization capability to new tasks. Specifically, differ to most existing work, our LM-SymOpt employs LLMs to translate natural language instructions into symbolic representations, thereby representing actions as high-level symbols and reducing the search space for planning. Next, after evaluating the action probability of completing the task using LLMs, a weighted random sampling method is introduced to generate candidate plans. Their feasibility is assessed through symbolic reasoning and their cost efficiency is then evaluated using trajectory optimization for selecting the optimal planning. Our experimental results show that LM-SymOpt outperforms existing LLM-based planning approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google