Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization

要約

強化学習 (RL) の最近の進歩は、特に高次元で複雑なタスクにおいて、大規模データとディープ ニューラル ネットワークによって促進されています。
Proximal Policy Optimization (PPO) などのオンライン RL 手法は、動的なシナリオでは効果的ですが、大量のリアルタイム データが必要となるため、リソースに制約のある環境や低速のシミュレーション環境では課題が生じます。
オフライン RL は、大規模なデータセットからポリシーを事前学習することでこの問題に対処しますが、その成功はデータの品質と多様性に依存します。
この研究では、オフライン データセットの高品質な仮想軌道を生成する拡散モデルを組み込むことで PPO アルゴリズムを強化するフレームワークを提案しています。
このアプローチにより、探索とサンプルの効率が向上し、複雑なタスクにおける累積報酬、収束速度、戦略の安定性が大幅に向上します。
私たちの貢献は 3 つあります。RL における拡散モデルの可能性、特にオフライン データセットの可能性を探ること、オンライン RL の適用をオフライン環境に拡張すること、拡散モデルによる PPO のパフォーマンス向上を実験的に検証することです。
これらの発見は、RL を高次元の複雑なタスクに適用するための新しい洞察と方法を提供します。
最後に、コードを https://github.com/TianciGao/DiffPPO でオープンソース化します。

要約(オリジナル)

Recent advancements in reinforcement learning (RL) have been fueled by large-scale data and deep neural networks, particularly for high-dimensional and complex tasks. Online RL methods like Proximal Policy Optimization (PPO) are effective in dynamic scenarios but require substantial real-time data, posing challenges in resource-constrained or slow simulation environments. Offline RL addresses this by pre-learning policies from large datasets, though its success depends on the quality and diversity of the data. This work proposes a framework that enhances PPO algorithms by incorporating a diffusion model to generate high-quality virtual trajectories for offline datasets. This approach improves exploration and sample efficiency, leading to significant gains in cumulative rewards, convergence speed, and strategy stability in complex tasks. Our contributions are threefold: we explore the potential of diffusion models in RL, particularly for offline datasets, extend the application of online RL to offline environments, and experimentally validate the performance improvements of PPO with diffusion models. These findings provide new insights and methods for applying RL to high-dimensional, complex tasks. Finally, we open-source our code at https://github.com/TianciGao/DiffPPO

arxiv情報

提供元, 利用サービス

arxiv.jp, Google