AlphaStar Unplugged: Large-Scale Offline Reinforcement Learning

要約

StarCraft II は、最も困難な模擬強化学習環境の 1 つです。
それは部分的に観測可能で、確率論的で、マルチエージェントであり、StarCraft II をマスターするには、リアルタイムの低レベルの実行による長期にわたる戦略的計画が必要です。
プロの競技シーンも活発です。
StarCraft II は、その挑戦的な性質と、Blizzard が人間のプレイヤーによってプレイされた何百万もの StarCraft II ゲームの膨大なデータセットをリリースしたため、オフライン RL アルゴリズムの進歩に独特に適しています。
この論文ではこれを活用し、AlphaStar Unplugged と呼ばれるベンチマークを確立し、オフライン強化学習に前例のない課題を導入しています。
データセット (Blizzard リリースのサブセット)、機械学習手法の API を標準化するツール、および評価プロトコルを定義します。
また、動作クローン、アクタークリティックのオフライン バリアント、MuZero などのベースライン エージェントも紹介します。
当社はオフライン データのみを使用してエージェントの最先端技術を向上させ、以前に公開された AlphaStar 動作クローニング エージェントに対して 90% の勝率を達成しました。

要約(オリジナル)

StarCraft II is one of the most challenging simulated reinforcement learning environments; it is partially observable, stochastic, multi-agent, and mastering StarCraft II requires strategic planning over long time horizons with real-time low-level execution. It also has an active professional competitive scene. StarCraft II is uniquely suited for advancing offline RL algorithms, both because of its challenging nature and because Blizzard has released a massive dataset of millions of StarCraft II games played by human players. This paper leverages that and establishes a benchmark, called AlphaStar Unplugged, introducing unprecedented challenges for offline reinforcement learning. We define a dataset (a subset of Blizzard’s release), tools standardizing an API for machine learning methods, and an evaluation protocol. We also present baseline agents, including behavior cloning, offline variants of actor-critic and MuZero. We improve the state of the art of agents using only offline data, and we achieve 90% win rate against previously published AlphaStar behavior cloning agent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google