Prioritized Generative Replay

要約

サンプル効率の高いオンライン強化学習では、値関数の更新時に再利用できるよう経験を保存するためにリプレイ バッファーがよく使用されます。
ただし、特定のクラスの遷移は学習に関連する可能性があるため、均一な再生は非効率的です。
より有用なサンプルの優先順位付けは役立ちますが、有用なサンプルは稀である可能性が高いため、この戦略は過剰適合につながる可能性もあります。
この研究では、代わりに、オンライン エクスペリエンスをキャプチャする生成モデルを使用して、エージェントの記憶の優先順位付けされたパラメトリック バージョンを提案します。
このパラダイムにより、(1) 生成モデルの汎化能力の恩恵を受ける新しい世代による過去の経験の高密度化、および (2) これらの世代をエージェントの獲得履歴のより有用な部分に押し上げる一連の「関連性関数」による誘導が可能になります。
このレシピは、条件付き拡散モデルと、好奇心や価値ベースのメトリクスなどの単純な関連性関数を使用してインスタンス化できることを示します。
私たちのアプローチは、状態ベースとピクセルベースの両方のドメインでパフォーマンスとサンプル効率を一貫して向上させます。
これらの利益の根底にあるメカニズムを明らかにし、ガイダンスがどのように生成された遷移の多様性を促進し、過剰適合を軽減するかを示します。
また、私たちのアプローチにより、以前よりもさらに高いデータ更新率でポリシーをトレーニングし、オンライン RL エージェントをより適切に拡張する道を開く方法も紹介します。

要約(オリジナル)

Sample-efficient online reinforcement learning often uses replay buffers to store experience for reuse when updating the value function. However, uniform replay is inefficient, since certain classes of transitions can be more relevant to learning. While prioritization of more useful samples is helpful, this strategy can also lead to overfitting, as useful samples are likely to be more rare. In this work, we instead propose a prioritized, parametric version of an agent’s memory, using generative models to capture online experience. This paradigm enables (1) densification of past experience, with new generations that benefit from the generative model’s generalization capacity and (2) guidance via a family of ‘relevance functions’ that push these generations towards more useful parts of an agent’s acquired history. We show this recipe can be instantiated using conditional diffusion models and simple relevance functions such as curiosity- or value-based metrics. Our approach consistently improves performance and sample efficiency in both state- and pixel-based domains. We expose the mechanisms underlying these gains, showing how guidance promotes diversity in our generated transitions and reduces overfitting. We also showcase how our approach can train policies with even higher update-to-data ratios than before, opening up avenues to better scale online RL agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google