Simple Noisy Environment Augmentation for Reinforcement Learning

要約

タイトル：単純なノイズ環境増強による強化学習

要約：
– データ増強は、機械学習において、特にコンピュータビジョンや自然言語処理においてモデルパフォーマンスを向上させるために広く用いられる技術である。
– 近年では、画像に基づいた増強技術を強化学習（RL）問題に適用することに関心が高まっており、RLアルゴリズムと環境の広範なスペクトルに適用可能なノイズに関する一連のオーガニックラッパーを探索している。
– 具体的には、状態、報酬、遷移ダイナミクスに関する拡張に集中し、2つの新しい拡張技術を紹介する。
– さらに、ノイズ注入の頻度を制御するためのノイズレートハイパーパラメータを導入する。
– 5つのMuJoCo環境において、3つの人気のあるRLアルゴリズム、Soft Actor-Critic（SAC）、Twin Delayed DDPG（TD3）、Proximal Policy Optimization（PPO）を用いて、これらのラッパーが返却に与える影響についての実験結果を示す。
– そして、実践における増強技術の選択をサポートするために、これらの技術の環境間のパフォーマンスを探索する分析を提示する。
– 最後に、gym環境で使用するためのwrappersをノイズenvレポジトリに公開する。

要約(オリジナル)

Data augmentation is a widely used technique for improving model performance in machine learning, particularly in computer vision and natural language processing. Recently, there has been increasing interest in applying augmentation techniques to reinforcement learning (RL) problems, with a focus on image-based augmentation. In this paper, we explore a set of generic wrappers designed to augment RL environments with noise and encourage agent exploration and improve training data diversity which are applicable to a broad spectrum of RL algorithms and environments. Specifically, we concentrate on augmentations concerning states, rewards, and transition dynamics and introduce two novel augmentation techniques. In addition, we introduce a noise rate hyperparameter for control over the frequency of noise injection. We present experimental results on the impact of these wrappers on return using three popular RL algorithms, Soft Actor-Critic (SAC), Twin Delayed DDPG (TD3), and Proximal Policy Optimization (PPO), across five MuJoCo environments. To support the choice of augmentation technique in practice, we also present analysis that explores the performance these techniques across environments. Lastly, we publish the wrappers in our noisyenv repository for use with gym environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI