Synthetic Experience Replay

要約

過去 10 年間の重要なテーマは、大規模なニューラル ネットワークと大規模なデータセットを組み合わせると、驚くべき結果が得られるということでした。
深層強化学習 (RL) では、このパラダイムは通常、経験の再生を通じて可能になります。これにより、過去の経験のデータセットがポリシーまたは価値関数のトレーニングに使用されます。
ただし、教師あり学習や自己教師あり学習とは異なり、RL エージェントは独自のデータを収集する必要があり、多くの場合、そのデータは制限されています。
したがって、ディープラーニングのメリットを享受することは困難であり、小規模なニューラル ネットワークであってもトレーニングの開始時にオーバーフィットする可能性があります。
この研究では、生成モデリングにおける最近の驚異的な進歩を活用し、エージェントが収集したエクスペリエンスを柔軟にアップサンプリングするための拡散ベースのアプローチである合成エクスペリエンス リプレイ (SynthER) を提案します。
SynthER が、固有受容環境とピクセルベースの環境の両方で、オフラインとオンラインの設定にわたって RL エージェントをトレーニングするための効果的な方法であることを示します。
オフライン設定では、小規模なオフライン データセットをアップサンプリングすると劇的な改善が見られ、追加の合成データにより大規模なネットワークを効果的にトレーニングできることがわかりました。
さらに、SynthER により、オンライン エージェントは以前よりもはるかに高いデータ更新率でトレーニングできるため、アルゴリズムを変更することなくサンプル効率が大幅に向上します。
私たちは、合成トレーニング データが、限られたデータからのリプレイベースの RL アルゴリズムに対するディープ ラーニングの可能性を最大限に実現するための扉を開く可能性があると信じています。
最後に、コードを https://github.com/conglu1997/SynthER でオープンソース化します。

要約(オリジナル)

A key theme in the past decade has been that when large neural networks and large datasets combine they can produce remarkable results. In deep reinforcement learning (RL), this paradigm is commonly made possible through experience replay, whereby a dataset of past experiences is used to train a policy or value function. However, unlike in supervised or self-supervised learning, an RL agent has to collect its own data, which is often limited. Thus, it is challenging to reap the benefits of deep learning, and even small neural networks can overfit at the start of training. In this work, we leverage the tremendous recent progress in generative modeling and propose Synthetic Experience Replay (SynthER), a diffusion-based approach to flexibly upsample an agent’s collected experience. We show that SynthER is an effective method for training RL agents across offline and online settings, in both proprioceptive and pixel-based environments. In offline settings, we observe drastic improvements when upsampling small offline datasets and see that additional synthetic data also allows us to effectively train larger networks. Furthermore, SynthER enables online agents to train with a much higher update-to-data ratio than before, leading to a significant increase in sample efficiency, without any algorithmic changes. We believe that synthetic training data could open the door to realizing the full potential of deep learning for replay-based RL algorithms from limited data. Finally, we open-source our code at https://github.com/conglu1997/SynthER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google