Prioritized Trajectory Replay: A Replay Memory for Data-driven Reinforcement Learning

要約

近年、オフライン RL とも呼ばれるデータ駆動型強化学習 (RL) が大きな注目を集めています。
しかし、オフライン RL におけるデータ サンプリング技術の役割は、オンライン RL のパフォーマンスを向上させる可能性があるにもかかわらず、無視されてきました。
最近の研究では、サンプリング技術を状態遷移に直接適用しても、オフライン RL のパフォーマンスは一貫して向上しないことが示唆されています。
そこで本研究では、限られたデータからより包括的な情報を抽出するために、サンプリングの視点を軌跡にまで拡張した記憶手法「(優先)軌跡リプレイ(TR/PTR)」を提案する。
TR は、後続の状態情報の使用を最適化する軌跡の後方サンプリングによって学習効率を高めます。
TR に基づいて、オフライン トレーニングでの目に見えないアクションのサンプリングを回避するための重み付けされた批評家ターゲットと、さまざまな軌道優先度メトリックによって優先順位を付けて、より効率的な軌道サンプリングを可能にする優先軌道リプレイ (PTR) を構築します。
TR および PTR を D4RL 上の既存のオフライン RL アルゴリズムと統合する利点を実証します。
要約すると、私たちの研究は、オフライン RL アルゴリズムの効率とパフォーマンスを向上させる上で、軌跡ベースのデータ サンプリング技術の重要性を強調しています。

要約(オリジナル)

In recent years, data-driven reinforcement learning (RL), also known as offline RL, have gained significant attention. However, the role of data sampling techniques in offline RL has been overlooked despite its potential to enhance online RL performance. Recent research suggests applying sampling techniques directly to state-transitions does not consistently improve performance in offline RL. Therefore, in this study, we propose a memory technique, (Prioritized) Trajectory Replay (TR/PTR), which extends the sampling perspective to trajectories for more comprehensive information extraction from limited data. TR enhances learning efficiency by backward sampling of trajectories that optimizes the use of subsequent state information. Building on TR, we build the weighted critic target to avoid sampling unseen actions in offline training, and Prioritized Trajectory Replay (PTR) that enables more efficient trajectory sampling, prioritized by various trajectory priority metrics. We demonstrate the benefits of integrating TR and PTR with existing offline RL algorithms on D4RL. In summary, our research emphasizes the significance of trajectory-based data sampling techniques in enhancing the efficiency and performance of offline RL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google