Intrinsic Language-Guided Exploration for Complex Long-Horizon Robotic Manipulation Tasks

要約

現在の強化学習アルゴリズムは、まばらで複雑な環境、特に多数の異なるシーケンスを必要とする長期的な操作タスクで困難を抱えています。
この研究では、大規模言語モデルからの本質的ガイド探索 (IGE-LLM) フレームワークを提案します。
IGE-LLM は、補助的な固有報酬として LLM を活用することにより、強化学習における探索プロセスを導き、報酬がまばらなロボット操作タスクに長期にわたる複雑な課題に対処します。
私たちは、探索という課題にさらされた環境、および探索と長い視野の両方によって課題となった複雑なロボット操作タスクにおいて、フレームワークと関連する固有の学習方法を評価します。
結果は、IGE-LLM が、(i) 関連する固有の手法や意思決定における LLM の直接使用よりも顕著に高いパフォーマンスを示し、(ii) モジュール性を強調して既存の学習手法を組み合わせて補完することができ、(iii) 異なる影響をかなり受けにくいことを示しています。
固有のスケーリング パラメーター、および (iv) 不確実性と範囲の増加に対する堅牢性を維持します。

要約(オリジナル)

Current reinforcement learning algorithms struggle in sparse and complex environments, most notably in long-horizon manipulation tasks entailing a plethora of different sequences. In this work, we propose the Intrinsically Guided Exploration from Large Language Models (IGE-LLMs) framework. By leveraging LLMs as an assistive intrinsic reward, IGE-LLMs guides the exploratory process in reinforcement learning to address intricate long-horizon with sparse rewards robotic manipulation tasks. We evaluate our framework and related intrinsic learning methods in an environment challenged with exploration, and a complex robotic manipulation task challenged by both exploration and long-horizons. Results show IGE-LLMs (i) exhibit notably higher performance over related intrinsic methods and the direct use of LLMs in decision-making, (ii) can be combined and complement existing learning methods highlighting its modularity, (iii) are fairly insensitive to different intrinsic scaling parameters, and (iv) maintain robustness against increased levels of uncertainty and horizons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google