Guiding Online Reinforcement Learning with Action-Free Offline Pretraining

要約

オフライン RL メソッドは、オフラインで収集されたエピソードを使用してエージェントをトレーニングすることにより、環境相互作用の必要性を減らすことが示されています。
ただし、これらの方法では通常、データ収集中にアクション情報をログに記録する必要があり、実際のケースでは困難または不可能になることさえあります。
この論文では、アクションのないオフライン データセットを使用してオンラインの強化学習を改善する可能性を調査し、この問題をアクションのないオフライン プレトレーニングによる強化学習 (AFP-RL) と名付けます。
アクションフリーのオフラインデータセットから知識を抽出することでオンライントレーニングをガイドする方法であるアクションフリーガイド（AF-Guide）を紹介します。
AF-Guide は、Upside-Down Reinforcement Learning のバリアントを実装する Action-Free Decision Transformer (AFDT) で構成されています。
オフラインのデータセットから次の状態を計画することを学習し、AFDT からのガイダンスでオンラインで学習する Guided Soft Actor-Critic (Guided SAC) を学習します。
実験結果は、アクションのないオフライン データセットからの知識のおかげで、AF-Guide がオンライン トレーニングのサンプル効率とパフォーマンスを向上させることができることを示しています。
コードは https://github.com/Vision-CAIR/AF-Guide で入手できます。

要約(オリジナル)

Offline RL methods have been shown to reduce the need for environment interaction by training agents using offline collected episodes. However, these methods typically require action information to be logged during data collection, which can be difficult or even impossible in some practical cases. In this paper, we investigate the potential of using action-free offline datasets to improve online reinforcement learning, name this problem Reinforcement Learning with Action-Free Offline Pretraining (AFP-RL). We introduce Action-Free Guide (AF-Guide), a method that guides online training by extracting knowledge from action-free offline datasets. AF-Guide consists of an Action-Free Decision Transformer (AFDT) implementing a variant of Upside-Down Reinforcement Learning. It learns to plan the next states from the offline dataset, and a Guided Soft Actor-Critic (Guided SAC) that learns online with guidance from AFDT. Experimental results show that AF-Guide can improve sample efficiency and performance in online training thanks to the knowledge from the action-free offline dataset. Code is available at https://github.com/Vision-CAIR/AF-Guide.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google