Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation

要約

オフライン強化学習では、事前に収集された遷移データセットを利用してポリシーをトレーニングします。
これはオンライン アルゴリズムの効果的な初期化として機能し、サンプル効率を高め、収束を高速化します。
ただし、そのようなデータセットのサイズと品質が制限されている場合、オフラインの事前トレーニングでは次善のポリシーが生成され、オンラインの強化学習のパフォーマンスの低下につながる可能性があります。
この論文では、オフライン強化学習の事前トレーニングの利点を最大化し、効果を発揮するために必要なデータの規模を削減する、モデルベースのデータ拡張戦略を提案します。
私たちのアプローチは、オフライン データセットでトレーニングされた環境のワールド モデルを活用して、オフラインの事前トレーニング中に状態を強化します。
私たちはさまざまな MuJoCo ロボット タスクに対するアプローチを評価し、その結果、オンラインでの微調整を迅速に開始し、必要な環境インタラクションの数を大幅に (場合によっては桁違いに) 削減できることがわかりました。

要約(オリジナル)

Offline reinforcement learning leverages pre-collected datasets of transitions to train policies. It can serve as effective initialization for online algorithms, enhancing sample efficiency and speeding up convergence. However, when such datasets are limited in size and quality, offline pre-training can produce sub-optimal policies and lead to degraded online reinforcement learning performance. In this paper we propose a model-based data augmentation strategy to maximize the benefits of offline reinforcement learning pre-training and reduce the scale of data needed to be effective. Our approach leverages a world model of the environment trained on the offline dataset to augment states during offline pre-training. We evaluate our approach on a variety of MuJoCo robotic tasks and our results show it can jump-start online fine-tuning and substantially reduce – in some cases by an order of magnitude – the required number of environment interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google