RL-GPT: Integrating Reinforcement Learning and Code-as-policy

要約

大規模言語モデル (LLM) は、コーディングによるさまざまなツールの利用に習熟していることが実証されていますが、複雑なロジックや正確な制御を処理する際には限界に直面しています。
具体化されたタスクでは、高レベルの計画は直接コーディングに適していますが、低レベルのアクションでは強化学習 (RL) などのタスク固有の改良が必要になることがよくあります。
両方のモダリティをシームレスに統合するために、低速エージェントと高速エージェントで構成される 2 レベルの階層フレームワークである RL-GPT を導入します。
低速エージェントはコーディングに適したアクションを分析し、高速エージェントはコーディング タスクを実行します。
この分解により、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的であることがわかります。
私たちのアプローチは、従来の RL 手法や既存の GPT エージェントよりも優れたパフォーマンスを示し、優れた効率を示しています。
Minecraft ゲームでは、RTX3090 で 1 日以内にダイヤモンドを急速に取得します。
さらに、指定されたすべての MineDojo タスクにわたって SOTA パフォーマンスを実現します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated proficiency in utilizing various tools by coding, yet they face limitations in handling intricate logic and precise control. In embodied tasks, high-level planning is amenable to direct coding, while low-level actions often necessitate task-specific refinement, such as Reinforcement Learning (RL). To seamlessly integrate both modalities, we introduce a two-level hierarchical framework, RL-GPT, comprising a slow agent and a fast agent. The slow agent analyzes actions suitable for coding, while the fast agent executes coding tasks. This decomposition effectively focuses each agent on specific tasks, proving highly efficient within our pipeline. Our approach outperforms traditional RL methods and existing GPT agents, demonstrating superior efficiency. In the Minecraft game, it rapidly obtains diamonds within a single day on an RTX3090. Additionally, it achieves SOTA performance across all designated MineDojo tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google