Meta-Optimization and Program Search using Language Models for Task and Motion Planning

要約

現実の世界とのインテリジェントな相互作用には、ロボットエージェントが高レベルの計画と低レベルのコントロールを共同で推論する必要があります。
タスクとモーションプランニング（TAMP）は、象徴的な計画と継続的な軌道生成を組み合わせて、これに対処します。
最近、TAMPへの基礎モデルのアプローチは、迅速な計画時間や自然言語の指示の実行など、印象的な結果を提示しました。
しかし、高レベルの計画と低レベルのモーション生成の間の最適なインターフェースは、未解決の問題のままです。事前のアプローチは、あまりにも多くの抽象化（たとえば、単純化されたスキルプリミティブの連鎖）またはその欠如（例えば、直接関節角予測）によって制限されます。
私たちの方法では、これらの問題に対処するためのメタ最適化の形式を使用した新しい手法を紹介します。（i）軌跡最適化問題を介したプログラム検索を使用して、基礎モデルとロボット制御の間のインターフェースとして、（ii）ゼロオーダーメソッドを活用して、基礎モデル出力の数値パラメーターを最適化します。
挑戦的なオブジェクトの操作と描画タスクの結果は、提案された方法が以前のTAMPアプローチで改善されることを確認します。

要約(オリジナル)

Intelligent interaction with the real world requires robotic agents to jointly reason over high-level plans and low-level controls. Task and motion planning (TAMP) addresses this by combining symbolic planning and continuous trajectory generation. Recently, foundation model approaches to TAMP have presented impressive results, including fast planning times and the execution of natural language instructions. Yet, the optimal interface between high-level planning and low-level motion generation remains an open question: prior approaches are limited by either too much abstraction (e.g., chaining simplified skill primitives) or a lack thereof (e.g., direct joint angle prediction). Our method introduces a novel technique employing a form of meta-optimization to address these issues by: (i) using program search over trajectory optimization problems as an interface between a foundation model and robot control, and (ii) leveraging a zero-order method to optimize numerical parameters in the foundation model output. Results on challenging object manipulation and drawing tasks confirm that our proposed method improves over prior TAMP approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google