Skill Reinforcement Learning and Planning for Open-World Long-Horizon Tasks

要約

我々は、オープンワールド環境におけるマルチタスクエージェントの構築について研究している。強化学習（RL）を用いて、大規模なオープンワールド環境において長期的視野に立ったタスクを達成するための学習を行うことは、人間による実証なしには極めて非効率的である。この課題に取り組むため、我々はマルチタスク学習問題を、基本的なスキルの学習と、そのスキルに対するプランニングに変換する。人気のオープンワールドゲームMinecraftをテストベッドとして用い、3種類のきめ細かな基本スキルを提案し、スキルの獲得に内発的報酬を持つRLを用いる。多様なアイテムを見つけるための探索を行う新しいファインディングスキルは、他のスキルのためのより良い初期化を提供し、スキル学習のサンプル効率を改善する。スキルプランニングでは、ラージ・ランゲージ・モデルの事前知識を活用し、スキル間の関係を見つけ、スキルグラフを構築する。エージェントがタスクを解くとき、我々のスキル探索アルゴリズムはスキルグラフ上を歩き、エージェントに適切なスキル計画を生成する。実験では、我々の方法は40の多様なMinecraftタスクを達成し、多くのタスクは10以上のスキルの連続実行を必要とする。本手法はベースラインを大きく上回り、Minecraft Tech Treeタスクを解くための最もサンプル効率の良い実証実験不要のRL手法である。プロジェクトのウェブサイトとコードはhttps://sites.google.com/view/plan4mc。

要約(オリジナル)

We study building multi-task agents in open-world environments. Without human demonstrations, learning to accomplish long-horizon tasks in a large open-world environment with reinforcement learning (RL) is extremely inefficient. To tackle this challenge, we convert the multi-task learning problem into learning basic skills and planning over the skills. Using the popular open-world game Minecraft as the testbed, we propose three types of fine-grained basic skills, and use RL with intrinsic rewards to acquire skills. A novel Finding-skill that performs exploration to find diverse items provides better initialization for other skills, improving the sample efficiency for skill learning. In skill planning, we leverage the prior knowledge in Large Language Models to find the relationships between skills and build a skill graph. When the agent is solving a task, our skill search algorithm walks on the skill graph and generates the proper skill plans for the agent. In experiments, our method accomplishes 40 diverse Minecraft tasks, where many tasks require sequentially executing for more than 10 skills. Our method outperforms baselines by a large margin and is the most sample-efficient demonstration-free RL method to solve Minecraft Tech Tree tasks. The project’s website and code can be found at https://sites.google.com/view/plan4mc.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL