Equivariant Data Augmentation for Generalization in Offline Reinforcement Learning

要約

我々は、オフライン強化学習 (RL) における一般化の課題に対処するための新しいアプローチを提案します。このアプローチでは、エージェントは環境との追加の対話なしで固定データセットから学習します。
具体的には、配布外の目標を一般化するエージェントの能力を向上させることを目指しています。
これを達成するために、ダイナミクス モデルを学習し、それが固定タイプの変換、つまり状態空間での変換に関して等変であるかどうかを確認することを提案します。
次に、エントロピー正則化機能を使用して等変セットを増やし、結果として変換されたサンプルでデータセットを強化します。
最後に、既製のオフライン RL アルゴリズムを使用して、拡張されたデータセットに基づいて新しいポリシーをオフラインで学習します。
私たちの実験結果は、私たちのアプローチが考慮された環境でのポリシーのテストパフォーマンスを大幅に向上できることを示しています。

要約(オリジナル)

We present a novel approach to address the challenge of generalization in offline reinforcement learning (RL), where the agent learns from a fixed dataset without any additional interaction with the environment. Specifically, we aim to improve the agent’s ability to generalize to out-of-distribution goals. To achieve this, we propose to learn a dynamics model and check if it is equivariant with respect to a fixed type of transformation, namely translations in the state space. We then use an entropy regularizer to increase the equivariant set and augment the dataset with the resulting transformed samples. Finally, we learn a new policy offline based on the augmented dataset, with an off-the-shelf offline RL algorithm. Our experimental results demonstrate that our approach can greatly improve the test performance of the policy on the considered environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google