ATraDiff: Accelerating Online Reinforcement Learning with Imaginary Trajectories

要約

まばらな報酬で自律エージェントをトレーニングすることは、データ効率が低いため、オンライン強化学習 (RL) における長年の問題です。
これまでの研究では、オフライン データから有用な知識を抽出することでこの課題を克服しています。多くの場合、オフライン データからアクション分布を学習し、学習した分布を利用してオンライン RL を促進します。
ただし、オフライン データは与えられ固定されているため、抽出される知識は本質的に限られており、新しいタスクに一般化することが困難になります。
私たちは、オフライン データを活用して、Adaptive Trajectory Diffuser (ATraDiff) と呼ばれる生成拡散モデルを学習する新しいアプローチを提案します。
このモデルは合成軌跡を生成し、データ拡張の一形態として機能し、結果的にオンライン RL 手法のパフォーマンスを向上させます。
当社のディフューザーの主な強みは、その適応性にあり、さまざまな軌道の長さを効果的に処理し、オンライン データとオフライン データの間の分布のシフトを軽減できます。
ATraDiff はそのシンプルさにより、幅広い RL メソッドとシームレスに統合します。
実証的評価によれば、ATraDiff はさまざまな環境で一貫して最先端のパフォーマンスを達成し、特に複雑な設定で顕著な改善が見られます。
私たちのコードとデモビデオは https://atradiff.github.io で入手できます。

要約(オリジナル)

Training autonomous agents with sparse rewards is a long-standing problem in online reinforcement learning (RL), due to low data efficiency. Prior work overcomes this challenge by extracting useful knowledge from offline data, often accomplished through the learning of action distribution from offline data and utilizing the learned distribution to facilitate online RL. However, since the offline data are given and fixed, the extracted knowledge is inherently limited, making it difficult to generalize to new tasks. We propose a novel approach that leverages offline data to learn a generative diffusion model, coined as Adaptive Trajectory Diffuser (ATraDiff). This model generates synthetic trajectories, serving as a form of data augmentation and consequently enhancing the performance of online RL methods. The key strength of our diffuser lies in its adaptability, allowing it to effectively handle varying trajectory lengths and mitigate distribution shifts between online and offline data. Because of its simplicity, ATraDiff seamlessly integrates with a wide spectrum of RL methods. Empirical evaluation shows that ATraDiff consistently achieves state-of-the-art performance across a variety of environments, with particularly pronounced improvements in complicated settings. Our code and demo video are available at https://atradiff.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google