Diffusion Models for Reinforcement Learning: A Survey

要約

拡散モデルは、サンプル品質とトレーニングの安定性において、以前の生成モデルを上回っています。
最近の研究では、強化学習 (RL) ソリューションの改善における拡散モデルの利点が示されています。
この調査は、この新興分野の概要を提供することを目的としており、研究の新たな方向性を刺激することを期待しています。
まず、RL アルゴリズムが直面するいくつかの課題を検討します。
次に、RL における拡散モデルの役割に基づいた既存の手法の分類を提示し、前述の課題にどのように対処するかを検討します。
さらに、さまざまな RL 関連タスクにおける拡散モデルの成功した応用について概説します。
最後に、調査を終了し、今後の研究の方向性についての洞察を提供します。
私たちは、RL の拡散モデルを利用する際の論文やその他の関連リソースの GitHub リポジトリ (https://github.com/apexrl/Diff4RLSurvey) を積極的に維持しています。

要約(オリジナル)

Diffusion models surpass previous generative models in sample quality and training stability. Recent works have shown the advantages of diffusion models in improving reinforcement learning (RL) solutions. This survey aims to provide an overview of this emerging field and hopes to inspire new avenues of research. First, we examine several challenges encountered by RL algorithms. Then, we present a taxonomy of existing methods based on the roles of diffusion models in RL and explore how the preceding challenges are addressed. We further outline successful applications of diffusion models in various RL-related tasks. Finally, we conclude the survey and offer insights into future research directions. We are actively maintaining a GitHub repository for papers and other related resources in utilizing diffusion models in RL: https://github.com/apexrl/Diff4RLSurvey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google