Event Tables for Efficient Experience Replay

要約

タイトル：効率的な経験再生のためのイベントテーブル

要約：
– 経験再生(ER)は、多くの深層強化学習(RL)システムの重要な構成要素である。
– ERバッファからの均等なサンプリングは、収束の遅延や不安定な漸近的な振る舞いを引き起こす可能性がある。
– 本論文では、優れた動作の重要な部分を捕捉するイベントテーブルにERバッファを分割する、イベントテーブルから分層サンプリング（SSET）を導入する。
– 従来のモノリシックバッファアプローチに比べ、理論的な利点を証明し、既存の優先サンプリング戦略と組み合わせて、学習速度と安定性をさらに向上させる。
– MiniGridドメイン、ベンチマークRL環境、高精度なカーレーシングシミュレータでの実験結果は、SSETが既存のERバッファサンプリング手法に比べて優れた利点と汎用性があることを示している。

要約(オリジナル)

Experience replay (ER) is a crucial component of many deep reinforcement learning (RL) systems. However, uniform sampling from an ER buffer can lead to slow convergence and unstable asymptotic behaviors. This paper introduces Stratified Sampling from Event Tables (SSET), which partitions an ER buffer into Event Tables, each capturing important subsequences of optimal behavior. We prove a theoretical advantage over the traditional monolithic buffer approach and combine SSET with an existing prioritized sampling strategy to further improve learning speed and stability. Empirical results in challenging MiniGrid domains, benchmark RL environments, and a high-fidelity car racing simulator demonstrate the advantages and versatility of SSET over existing ER buffer sampling approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI