A Comprehensive Survey of Data Augmentation in Visual Reinforcement Learning

要約

高次元の視覚入力から直接意思決定を行う視覚強化学習 (RL) は、さまざまな分野で大きな可能性を示しています。
ただし、サンプル効率が低く、一般化のギャップが大きいため、視覚的強化学習手法を現実の世界に展開することは依然として困難です。
これらの障害に取り組むために、データ拡張 (DA) は、トレーニング データを多様化することによって、サンプル効率が高く一般化可能なポリシーを取得するために、ビジュアル RL で広く使用される手法になりました。
この調査は、この分野での盛んな開発を認識して、ビジュアル RL の DA テクニックのタイムリーかつ本質的なレビューを提供することを目的としています。
特に、ビジュアル RL を分析し、DA の役割を理解するための統一されたフレームワークを提案します。
次に、ビジュアル RL で使用される既存の拡張技術の原則に基づいた分類法を提示し、さまざまなシナリオで拡張データをより適切に活用する方法について詳細な議論を行います。
さらに、ビジュアル RL における DA ベースの手法の体系的な経験的評価を報告し、将来の研究の方向性を強調して結論付けます。
ビジュアル RL における DA の最初の包括的な調査として、この作業は、この新しい分野に貴重なガイダンスを提供することが期待されています。

要約(オリジナル)

Visual reinforcement learning (RL), which makes decisions directly from high-dimensional visual inputs, has demonstrated significant potential in various domains. However, deploying visual RL techniques in the real world remains challenging due to their low sample efficiency and large generalization gaps. To tackle these obstacles, data augmentation (DA) has become a widely used technique in visual RL for acquiring sample-efficient and generalizable policies by diversifying the training data. This survey aims to provide a timely and essential review of DA techniques in visual RL in recognition of the thriving development in this field. In particular, we propose a unified framework for analyzing visual RL and understanding the role of DA in it. We then present a principled taxonomy of the existing augmentation techniques used in visual RL and conduct an in-depth discussion on how to better leverage augmented data in different scenarios. Moreover, we report a systematic empirical evaluation of DA-based techniques in visual RL and conclude by highlighting the directions for future research. As the first comprehensive survey of DA in visual RL, this work is expected to offer valuable guidance to this emerging field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google