When Should We Prefer State-to-Visual DAgger Over Visual Reinforcement Learning?

要約

ピクセルや点群などの高次元の視覚入力からポリシーを学習することは、さまざまなアプリケーションにおいて重要です。
視覚強化学習は、視覚観察からポリシーを直接トレーニングする有望なアプローチですが、サンプル効率と計算コストの点で課題に直面しています。
この研究では、ビジュアル ポリシーを学習するためにオンライン模倣を採用する前に最初に状態ポリシーをトレーニングする 2 段階のフレームワークである State-to-Visual DAgger と、さまざまなタスクのセットにわたる Visual RL の実証的比較を実施します。
漸近的なパフォーマンス、サンプル効率、計算コストに焦点を当てて、3 つのベンチマークから 16 のタスクにわたって両方の手法を評価します。
驚くべきことに、私たちの調査結果では、State-to-Visual DAgger が全般的に Visual RL よりも優れたパフォーマンスを示すわけではありませんが、困難なタスクでは大きな利点を示し、より安定したパフォーマンスを提供することが明らかになりました。
対照的に、サンプル効率における利点はそれほど顕著ではありませんが、トレーニングに必要な全体的な実時間を短縮することがよくあります。
私たちの調査結果に基づいて、私たちは実践者に推奨事項を提供し、私たちの結果が視覚的政策学習における将来の研究に貴重な視点を提供することを願っています。

要約(オリジナル)

Learning policies from high-dimensional visual inputs, such as pixels and point clouds, is crucial in various applications. Visual reinforcement learning is a promising approach that directly trains policies from visual observations, although it faces challenges in sample efficiency and computational costs. This study conducts an empirical comparison of State-to-Visual DAgger, a two-stage framework that initially trains a state policy before adopting online imitation to learn a visual policy, and Visual RL across a diverse set of tasks. We evaluate both methods across 16 tasks from three benchmarks, focusing on their asymptotic performance, sample efficiency, and computational costs. Surprisingly, our findings reveal that State-to-Visual DAgger does not universally outperform Visual RL but shows significant advantages in challenging tasks, offering more consistent performance. In contrast, its benefits in sample efficiency are less pronounced, although it often reduces the overall wall-clock time required for training. Based on our findings, we provide recommendations for practitioners and hope that our results contribute valuable perspectives for future research in visual policy learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google