Improving Generalization in Visual Reinforcement Learning via Conflict-aware Gradient Agreement Augmentation

要約

目に見えない環境への大きな一般化を伴うポリシーを学習することは依然として困難ですが、視覚強化学習においては重要です。
教師あり学習の一般化における拡張の組み合わせは成功したにもかかわらず、それを視覚的 RL アルゴリズムに単純に適用すると、サーブのパフォーマンスの低下によりトレーニングの効率が損なわれる可能性があります。
この論文では、まず定性分析を実施し、主な原因を明らかにします。(i) 分散度の高い勾配の大きさと、(ii) さまざまな拡張方法に存在する勾配の競合。
これらの問題を軽減するために、我々は、競合を意識した勾配合意拡張 (CG2A) という名前の一般的なポリシー勾配最適化フレームワークを提案し、拡張の組み合わせをビジュアル RL アルゴリズムに統合して一般化バイアスに対処します。
特に、CG2A は、さまざまな勾配の大きさを適応的にバランスさせるための勾配一致ソルバーを開発し、勾配の競合を軽減するためのソフト勾配手術戦略を導入しています。
広範な実験により、CG2A がビジュアル RL アルゴリズムの汎化パフォーマンスとサンプル効率を大幅に向上させることが実証されました。

要約(オリジナル)

Learning a policy with great generalization to unseen environments remains challenging but critical in visual reinforcement learning. Despite the success of augmentation combination in the supervised learning generalization, naively applying it to visual RL algorithms may damage the training efficiency, suffering from serve performance degradation. In this paper, we first conduct qualitative analysis and illuminate the main causes: (i) high-variance gradient magnitudes and (ii) gradient conflicts existed in various augmentation methods. To alleviate these issues, we propose a general policy gradient optimization framework, named Conflict-aware Gradient Agreement Augmentation (CG2A), and better integrate augmentation combination into visual RL algorithms to address the generalization bias. In particular, CG2A develops a Gradient Agreement Solver to adaptively balance the varying gradient magnitudes, and introduces a Soft Gradient Surgery strategy to alleviate the gradient conflicts. Extensive experiments demonstrate that CG2A significantly improves the generalization performance and sample efficiency of visual RL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google