Generalizable Long-Horizon Manipulations with Large Language Models

要約

本研究では、ラージ・ランゲージ・モデル（Large Language Model: LLM）の能力を活用し、新規物体や未見タスクに対する一般化可能なロングホライズン操作のためのプリミティブなタスク条件を生成するフレームワークを紹介する。これらのタスク条件は、ロングホライズンタスク実行のための動的動作プリミティブ（DMP）軌道の生成と調整のガイドとなる。さらに、ロングホライゾンタスクの評価のために、Pybulletをベースとした難易度の高いロボット操作タスク群を作成する。模擬環境と実環境の両方で広範な実験を行い、新しい物体を含む馴染みのあるタスクと、新しいが関連するタスクの両方において、我々のフレームワークの有効性を実証し、ロボットシステムの汎用性と適応性を高めるLLMの可能性を強調する。プロジェクトウェブサイト：https://object814.github.io/Task-Condition-With-LLM/

要約(オリジナル)

This work introduces a framework harnessing the capabilities of Large Language Models (LLMs) to generate primitive task conditions for generalizable long-horizon manipulations with novel objects and unseen tasks. These task conditions serve as guides for the generation and adjustment of Dynamic Movement Primitives (DMP) trajectories for long-horizon task execution. We further create a challenging robotic manipulation task suite based on Pybullet for long-horizon task evaluation. Extensive experiments in both simulated and real-world environments demonstrate the effectiveness of our framework on both familiar tasks involving new objects and novel but related tasks, highlighting the potential of LLMs in enhancing robotic system versatility and adaptability. Project website: https://object814.github.io/Task-Condition-With-LLM/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL