A Survey Analyzing Generalization in Deep Reinforcement Learning

要約

強化学習の研究は、ディープ ニューラル ネットワークを利用して高次元の状態またはアクション空間の問題を解決することで大きな成功と注目を集めました。
深層強化学習ポリシーは現在、医療アプリケーションから大規模言語モデルに至るまで、さまざまな分野で導入されていますが、深層強化学習ポリシーの一般化機能については、この分野が答えようとしている継続的な疑問がまだあります。
この論文では、深層強化学習における一般化を形式化して分析します。
深層強化学習ポリシーが汎化能力を制限する過剰適合の問題に遭遇する根本的な理由を説明します。
さらに、一般化を高め、深層強化学習ポリシーの過学習を克服するための多様なソリューションのアプローチを分類して説明します。
探索から敵対的分析、正則化からロバスト性まで、私たちの論文では、深層強化学習の幅広いサブフィールドについて、広い範囲と深い視点で分析を提供します。
私たちは、私たちの研究が深層強化学習の現在の進歩に対するコンパクトなガイドラインを提供し、より高い一般化スキルを備えた堅牢な深層ニューラル ポリシーの構築に役立つと信じています。

要約(オリジナル)

Reinforcement learning research obtained significant success and attention with the utilization of deep neural networks to solve problems in high dimensional state or action spaces. While deep reinforcement learning policies are currently being deployed in many different fields from medical applications to large language models, there are still ongoing questions the field is trying to answer on the generalization capabilities of deep reinforcement learning policies. In this paper, we will formalize and analyze generalization in deep reinforcement learning. We will explain the fundamental reasons why deep reinforcement learning policies encounter overfitting problems that limit their generalization capabilities. Furthermore, we will categorize and explain the manifold solution approaches to increase generalization, and overcome overfitting in deep reinforcement learning policies. From exploration to adversarial analysis and from regularization to robustness our paper provides an analysis on a wide range of subfields within deep reinforcement learning with a broad scope and in-depth view. We believe our study can provide a compact guideline for the current advancements in deep reinforcement learning, and help to construct robust deep neural policies with higher generalization skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google