Plan4MC: Skill Reinforcement Learning and Planning for Open-World Minecraft Tasks

要約

マインクラフトでマルチタスクエージェントの構築を研究しています。
人間によるデモンストレーションがなければ、このオープンエンド環境で強化学習 (RL) を使用して長期的なタスクを解決することは、非常に非効率的なサンプルです。
この課題に取り組むために、Minecraft のタスクを解決することを、基本的なスキルの学習とスキルの計画に分解します。
マインクラフトの3種類のきめの細かい基本スキルを提案し、本質的な報酬を伴うRLを使用して、高い成功率で基本スキルを達成します。
スキル プランニングでは、Large Language Models を使用してスキル間の関係を見つけ、事前にスキル グラフを作成します。
エージェントがタスクを解決しているときに、スキル検索アルゴリズムがスキル グラフをたどり、エージェントの適切なスキル プランを生成します。
実験では、私たちの方法は 24 の多様な Minecraft タスクを達成し、多くのタスクは 10 以上のスキルを連続して実行する必要があります。
私たちの方法は、ほとんどのタスクでベースラインよりも大幅に優れています。
プロジェクトのウェブサイトとコードは、https://sites.google.com/view/plan4mc にあります。

要約(オリジナル)

We study building a multi-task agent in Minecraft. Without human demonstrations, solving long-horizon tasks in this open-ended environment with reinforcement learning (RL) is extremely sample inefficient. To tackle the challenge, we decompose solving Minecraft tasks into learning basic skills and planning over the skills. We propose three types of fine-grained basic skills in Minecraft, and use RL with intrinsic rewards to accomplish basic skills with high success rates. For skill planning, we use Large Language Models to find the relationships between skills and build a skill graph in advance. When the agent is solving a task, our skill search algorithm walks on the skill graph and generates the proper skill plans for the agent. In experiments, our method accomplishes 24 diverse Minecraft tasks, where many tasks require sequentially executing for more than 10 skills. Our method outperforms baselines in most tasks by a large margin. The project’s website and code can be found at https://sites.google.com/view/plan4mc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google