Lifelong Robot Library Learning: Bootstrapping Composable and Generalizable Skills for Embodied Control with Language Models

要約

大規模言語モデル (LLM) は、身体化された推論と制御のための新しいパラダイムとして登場し、最近では視覚と制御の原始的なスキルのカスタム ライブラリを利用するロボット ポリシー コードを生成しました。
しかしながら、従来技術は、スキルライブラリを修正し、慎重に手作りされたプロンプトエンジニアリングによってLLMを操作し、エージェントをアドレス可能なタスクの固定範囲に制限する。
この研究では、ますます複雑になる操作タスクに取り組むためにロボット スキル ライブラリを継続的に成長させる LLM ベースの生涯学習エージェントである LRLL を紹介します。
LRLL は、4 つの新しい貢献によってこれを実現します。1) コンテキストとして機能する過去の経験の動的な保存と取得を可能にするソフト メモリ モジュール、2) シミュレーションで新しいタスクを提案する自己誘導探索ポリシー、3) スキルを抽出するスキル アブストラクター
4) 人間のユーザーが最小限のオンライン操作で新しいスキルを習得できるようにするための生涯学習アルゴリズム。
LRLL は、知識をメモリからライブラリに継続的に転送し、勾配ベースの最適化をバイパスしながら、構成可能で一般的で解釈可能なポリシーを構築することで、学習者を致命的な忘却から解放します。
シミュレートされたテーブルトップ環境での経験的評価では、現実世界に応用可能なスキルを学習しながら、生涯にわたる設定において LRLL がエンドツーエンドおよびバニラ LLM アプローチよりも優れたパフォーマンスを発揮することが示されています。
プロジェクトの資料は、Web ページ https://gtziafas.github.io/LRLL_project で入手できるようになります。

要約(オリジナル)

Large Language Models (LLMs) have emerged as a new paradigm for embodied reasoning and control, most recently by generating robot policy code that utilizes a custom library of vision and control primitive skills. However, prior arts fix their skills library and steer the LLM with carefully hand-crafted prompt engineering, limiting the agent to a stationary range of addressable tasks. In this work, we introduce LRLL, an LLM-based lifelong learning agent that continuously grows the robot skill library to tackle manipulation tasks of ever-growing complexity. LRLL achieves this with four novel contributions: 1) a soft memory module that allows dynamic storage and retrieval of past experiences to serve as context, 2) a self-guided exploration policy that proposes new tasks in simulation, 3) a skill abstractor that distills recent experiences into new library skills, and 4) a lifelong learning algorithm for enabling human users to bootstrap new skills with minimal online interaction. LRLL continuously transfers knowledge from the memory to the library, building composable, general and interpretable policies, while bypassing gradient-based optimization, thus relieving the learner from catastrophic forgetting. Empirical evaluation in a simulated tabletop environment shows that LRLL outperforms end-to-end and vanilla LLM approaches in the lifelong setup while learning skills that are transferable to the real world. Project material will become available at the webpage https://gtziafas.github.io/LRLL_project.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google