Policy Representation via Diffusion Probability Model for Reinforcement Learning

要約

一般的な強化学習 (RL) アルゴリズムは単峰性のポリシー分布を生成する傾向があり、複雑なポリシーの表現力が弱まり、探索能力が低下します。
拡散確率モデルは、複雑な多峰性分布を学習するのに強力であり、RL への有望な応用可能性が示されています。
この論文では、拡散確率モデルを介してポリシー表現の理論的基盤を正式に構築し、オンライン モデルフリー RL のための拡散ポリシーの実践的な実装を提供します。
具体的には、普及政策を確率過程として特徴づけます。これは、政策を表現するための新しいアプローチです。
次に、拡散政策の収束保証を提示し、拡散政策の多様性を理解するための理論を提供します。
さらに、DIffusion POLicyを使用したモデルフリーのオンラインRLの実装であるDIPOを提案します。
私たちの知る限り、DIPO は拡散モデルを使用してモデルフリーのオンライン RL 問題を解決する最初のアルゴリズムです。
最後に、広範な実証結果により、標準的な連続制御 Mujoco ベンチマークに対する DIPO の有効性と優位性が示されています。

要約(オリジナル)

Popular reinforcement learning (RL) algorithms tend to produce a unimodal policy distribution, which weakens the expressiveness of complicated policy and decays the ability of exploration. The diffusion probability model is powerful to learn complicated multimodal distributions, which has shown promising and potential applications to RL. In this paper, we formally build a theoretical foundation of policy representation via the diffusion probability model and provide practical implementations of diffusion policy for online model-free RL. Concretely, we character diffusion policy as a stochastic process, which is a new approach to representing a policy. Then we present a convergence guarantee for diffusion policy, which provides a theory to understand the multimodality of diffusion policy. Furthermore, we propose the DIPO which is an implementation for model-free online RL with DIffusion POlicy. To the best of our knowledge, DIPO is the first algorithm to solve model-free online RL problems with the diffusion model. Finally, extensive empirical results show the effectiveness and superiority of DIPO on the standard continuous control Mujoco benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google