Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning

要約

データ拡張 (DA) は、視覚強化学習 (RL) アルゴリズムのサンプル効率を高めるための重要な技術です。
特に、単純な観測変換のみを採用すると、追加の補助表現タスクや事前トレーニングされたエンコーダーを使用しなくても、優れたパフォーマンスが得られます。
ただし、DA のどの属性がサンプル効率の高い視覚 RL の達成におけるその有効性を説明するのかは依然として不明です。
この問題を調査し、DA の可能性をさらに探求するために、この研究では包括的な実験を実施して、DA の有効性に対する DA の属性の影響を評価し、次の洞察と改善を提供します。 (1) 個々の DA 操作について、両方の十分な空間的多様性が明らかになりました。
とわずかな硬さが不可欠​​です。
この発見に基づいて、最小限の硬度で豊富な空間多様性を提供する新しい DA 操作である Random PadResize (Rand PR) を導入します。
(2) マルチタイプ DA 融合スキームの場合、DA 硬度の増加とデータ分布の不安定により、現在の融合スキームでは対応する個別の操作よりも高いサンプル効率を達成できなくなります。
RL の非定常的な性質を考慮して、Cycling Augmentation (CycAug) と呼ばれる RL に合わせたマルチタイプ DA 融合スキームを提案します。これは、データ分散の一貫性を維持しながらタイプの多様性を高めるために、さまざまな DA 操作の周期的なサイクルを実行します。
DeepMind Control スイートと CARLA ドライビング シミュレーターの広範な評価により、当社のメソッドが従来の最先端のメソッドと比較して優れたサンプル効率を達成できることが実証されました。

要約(オリジナル)

Data augmentation (DA) is a crucial technique for enhancing the sample efficiency of visual reinforcement learning (RL) algorithms. Notably, employing simple observation transformations alone can yield outstanding performance without extra auxiliary representation tasks or pre-trained encoders. However, it remains unclear which attributes of DA account for its effectiveness in achieving sample-efficient visual RL. To investigate this issue and further explore the potential of DA, this work conducts comprehensive experiments to assess the impact of DA’s attributes on its efficacy and provides the following insights and improvements: (1) For individual DA operations, we reveal that both ample spatial diversity and slight hardness are indispensable. Building on this finding, we introduce Random PadResize (Rand PR), a new DA operation that offers abundant spatial diversity with minimal hardness. (2) For multi-type DA fusion schemes, the increased DA hardness and unstable data distribution result in the current fusion schemes being unable to achieve higher sample efficiency than their corresponding individual operations. Taking the non-stationary nature of RL into account, we propose a RL-tailored multi-type DA fusion scheme called Cycling Augmentation (CycAug), which performs periodic cycles of different DA operations to increase type diversity while maintaining data distribution consistency. Extensive evaluations on the DeepMind Control suite and CARLA driving simulator demonstrate that our methods achieve superior sample efficiency compared with the prior state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google