Pixel to policy: DQN Encoders for within & cross-game reinforcement learning

要約

強化学習はさまざまなタスクや環境に適用できます。
これらの環境の多くは同様の共有構造を持っており、これを利用して他のタスクの RL パフォーマンスを向上させることができます。
転移学習を使用すると、さまざまなタスクや環境間で移行可能な学習ポリシーによってこの共有構造を活用でき、より効率的な学習と幅広いタスクのパフォーマンスの向上につながります。
この研究では、最初からトレーニングされた RL モデルと、転移学習のさまざまなアプローチでトレーニングされた RL モデル間のパフォーマンスを調査し、比較します。
さらに、この研究では、ユニバーサル ゲームプレイ エージェントの開発と、DQN を使用した事前トレーニング済みエンコーダーの転移学習、および同じゲームまたは別のゲームでのトレーニングを目的として、複数のゲーム環境でトレーニングされたモデルのパフォーマンスを調査しています。
ゲーム。
私たちの DQN モデルは、平均エピソード報酬 46.16 を達成しました。これは、deepmind の 100 万エピソードよりも大幅に低い、わずか 20,000 エピソードで人間レベルのパフォーマンスを上回ります。
アサルト環境とスペースインベーダー環境でそれぞれ 533.42 と 402.17 の平均報酬が達成され、これらの困難な環境での注目に値するパフォーマンスを表しています。

要約(オリジナル)

Reinforcement Learning can be applied to various tasks, and environments. Many of these environments have a similar shared structure, which can be exploited to improve RL performance on other tasks. Transfer learning can be used to take advantage of this shared structure, by learning policies that are transferable across different tasks and environments and can lead to more efficient learning as well as improved performance on a wide range of tasks. This work explores as well as compares the performance between RL models being trained from the scratch and on different approaches of transfer learning. Additionally, the study explores the performance of a model trained on multiple game environments, with the goal of developing a universal game-playing agent as well as transfer learning a pre-trained encoder using DQN, and training it on the same game or a different game. Our DQN model achieves a mean episode reward of 46.16 which even beats the human-level performance with merely 20k episodes which is significantly lower than deepmind’s 1M episodes. The achieved mean rewards of 533.42 and 402.17 on the Assault and Space Invader environments respectively, represent noteworthy performance on these challenging environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google