Structure in Deep Reinforcement Learning: A Survey and Open Problems

要約

関数近似のためのディープ ニューラル ネットワーク (DNN) の表現力によって強化された強化学習 (RL) は、多くのアプリケーションで大きな成功を収めています。
ただし、多様で予測不可能なダイナミクス、ノイズの多い信号、大規模な状態およびアクション空間を特徴とするさまざまな現実世界のシナリオに対処する際の実用性は依然として限られています。
この制限は、データ効率の悪さ、一般化機能の制限、安全性保証の欠如、解釈可能性の欠如などの要因から生じます。
これらの課題を克服し、これらの重要な指標全体でパフォーマンスを向上させるための有望な手段の 1 つは、問題に関する追加の構造情報を RL 学習プロセスに組み込むことです。
RL のさまざまなサブフィールドでは、このような誘導バイアスを組み込む方法が提案されています。
私たちは、これらの多様な方法論を統一されたフレームワークの下で融合させ、学習問題における構造の役割に光を当て、これらの方法を構造を組み込む明確なパターンに分類します。
この包括的なフレームワークを活用することで、構造化された RL の課題に対する貴重な洞察を提供し、RL 研究におけるデザイン パターンの観点の基礎を築きます。
この新しい視点は、将来の進歩への道を切り開き、現実世界のシナリオをより適切に処理できる可能性のある、より効果的かつ効率的な RL アルゴリズムの開発に役立ちます。

要約(オリジナル)

Reinforcement Learning (RL), bolstered by the expressive capabilities of Deep Neural Networks (DNNs) for function approximation, has demonstrated considerable success in numerous applications. However, its practicality in addressing various real-world scenarios, characterized by diverse and unpredictable dynamics, noisy signals, and large state and action spaces, remains limited. This limitation stems from poor data efficiency, limited generalization capabilities, a lack of safety guarantees, and the absence of interpretability, among other factors. To overcome these challenges and improve performance across these crucial metrics, one promising avenue is to incorporate additional structural information about the problem into the RL learning process. Various sub-fields of RL have proposed methods for incorporating such inductive biases. We amalgamate these diverse methodologies under a unified framework, shedding light on the role of structure in the learning problem, and classify these methods into distinct patterns of incorporating structure. By leveraging this comprehensive framework, we provide valuable insights into the challenges of structured RL and lay the groundwork for a design pattern perspective on RL research. This novel perspective paves the way for future advancements and aids in developing more effective and efficient RL algorithms that can potentially handle real-world scenarios better.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google