Language Models as Zero-Shot Trajectory Generators

要約

大規模言語モデル (LLM) は、低レベルのスキルを選択してアクセスできる場合、ロボットの高レベルのプランナーとして最近有望であることが示されています。
ただし、LLM は低レベルの軌道自体に使用できる十分な知識を持っていないことが想定されます。
この研究では、この仮定に徹底的に取り組み、物体検出およびセグメンテーション視覚モデルのみへのアクセスが与えられた場合に、LLM (GPT-4) が操作スキルのためのエンドエフェクターのポーズの密なシーケンスを直接予測できるかどうかを調査します。
私たちは、コンテキスト内サンプル、モーション プリミティブ、外部軌道オプティマイザーを使用しない単一のタスクに依存しないプロンプトが、「ボトルのキャップを開ける」や「ボトルを拭く」などの 26 の実世界の言語ベースのタスクにわたってどの程度実行できるかを研究しています。
スポンジ付きプレート」を作成し、このプロンプトでどのデザインの選択肢が最も効果的かを調査します。
私たちの結論は、ロボット工学における LLM の想定限界を引き上げるものであり、LLM がさまざまな一般的なタスクに十分な低レベルのロボット制御を実際に理解していること、さらに障害を検出して再実行できることを初めて明らかにしました。
それに応じて軌道を計画します。
ビデオ、コード、プロンプトは、https://www.robot-learning.uk/ language-models-trajectory-generators から入手できます。

要約(オリジナル)

Large Language Models (LLMs) have recently shown promise as high-level planners for robots when given access to a selection of low-level skills. However, it is often assumed that LLMs do not possess sufficient knowledge to be used for the low-level trajectories themselves. In this work, we address this assumption thoroughly, and investigate if an LLM (GPT-4) can directly predict a dense sequence of end-effector poses for manipulation skills, when given access to only object detection and segmentation vision models. We study how well a single task-agnostic prompt, without any in-context examples, motion primitives, or external trajectory optimisers, can perform across 26 real-world language-based tasks, such as ‘open the bottle cap’ and ‘wipe the plate with the sponge’, and we investigate which design choices in this prompt are the most effective. Our conclusions raise the assumed limit of LLMs for robotics, and we reveal for the first time that LLMs do indeed possess an understanding of low-level robot control sufficient for a range of common tasks, and that they can additionally detect failures and then re-plan trajectories accordingly. Videos, code, and prompts are available at: https://www.robot-learning.uk/language-models-trajectory-generators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google