Trajectory Adaptation using Large Language Models

要約

より直感的でスケーラブルな人間とロボットの相互作用を実現するには、新しい状況に従って人間の指示に基づいてロボットの軌跡を適応することが不可欠です。
この作業では、RRT、A-Starなどなどの既製のモーションプランナーによって生成される一般的なロボット軌道を適応させるための柔軟な言語ベースのフレームワークを提案します。
事前に訓練されたLLMSを利用して、密集したロボット操作のポリシーとしてコードを生成し、現在の方法よりも複雑で柔軟な命令を可能にすることにより、軌道ウェイポイントを適応させます。
このアプローチにより、数値入力を含む、より広範な範囲のコマンドを組み込むことができます。
トレーニングを必要とする最先端の機能ベースのシーケンスからシーケンスモデルと比較して、この方法ではタスク固有のトレーニングを必要とせず、より大きな解釈可能性とより効果的なフィードバックメカニズムを提供します。
PybulletおよびGazebo Simulation環境のロボットマニピュレーター、航空車両、および地上ロボットに関するシミュレーション実験を通じてアプローチを検証し、LLMが複雑な人間の指示に軌跡を正常に適応させることができることを示しています。

要約(オリジナル)

Adapting robot trajectories based on human instructions as per new situations is essential for achieving more intuitive and scalable human-robot interactions. This work proposes a flexible language-based framework to adapt generic robotic trajectories produced by off-the-shelf motion planners like RRT, A-star, etc, or learned from human demonstrations. We utilize pre-trained LLMs to adapt trajectory waypoints by generating code as a policy for dense robot manipulation, enabling more complex and flexible instructions than current methods. This approach allows us to incorporate a broader range of commands, including numerical inputs. Compared to state-of-the-art feature-based sequence-to-sequence models which require training, our method does not require task-specific training and offers greater interpretability and more effective feedback mechanisms. We validate our approach through simulation experiments on the robotic manipulator, aerial vehicle, and ground robot in the Pybullet and Gazebo simulation environments, demonstrating that LLMs can successfully adapt trajectories to complex human instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google