On the Foundation of Distributionally Robust Reinforcement Learning

要約

トレーニングと導入の間の環境の変化に直面した堅牢なポリシーの必要性を動機として、私たちは分布的にロバストな強化学習 (DRRL) の理論的基盤に貢献します。
これは、分布的に堅牢なマルコフ決定プロセス (DRMDP) を中心とした包括的なモデリング フレームワークを通じて実現されます。
この枠組みは、意思決定者に、敵対者によって画策された最悪の場合の配分変更の下で最適な政策を選択することを義務付ける。
既存の定式化を統合および拡張することにより、意思決定者と敵対者の両方のためのさまざまなモデリング属性を包含する DRMDP を厳密に構築します。
これらの属性には、適応性の粒度、歴史依存、マルコフ、マルコフ時間均一の意思決定者と敵対者のダイナミクスの探索が含まれます。
さらに、SA と S-rectangularity を調べて、敵対者によって引き起こされるシフトの柔軟性を掘り下げます。
この DRMDP フレームワーク内で、動的計画原理 (DPP) の有無に関する条件を調査します。
アルゴリズムの観点から見ると、既存のデータと計算効率の高い RL アルゴリズムの大部分が DPP に依存しているため、DPP の存在は重要な意味を持ちます。
その存在を研究するために、私たちはコントローラーと敵対者の属性の組み合わせを包括的に調べ、統一された方法論に基づいた合理的な証明を提供します。
また、完全な汎用性を備えた DPP が存在しない設定の反例も提供します。

要約(オリジナル)

Motivated by the need for a robust policy in the face of environment shifts between training and the deployment, we contribute to the theoretical foundation of distributionally robust reinforcement learning (DRRL). This is accomplished through a comprehensive modeling framework centered around distributionally robust Markov decision processes (DRMDPs). This framework obliges the decision maker to choose an optimal policy under the worst-case distributional shift orchestrated by an adversary. By unifying and extending existing formulations, we rigorously construct DRMDPs that embraces various modeling attributes for both the decision maker and the adversary. These attributes include adaptability granularity, exploring history-dependent, Markov, and Markov time-homogeneous decision maker and adversary dynamics. Additionally, we delve into the flexibility of shifts induced by the adversary, examining SA and S-rectangularity. Within this DRMDP framework, we investigate conditions for the existence or absence of the dynamic programming principle (DPP). From an algorithmic standpoint, the existence of DPP holds significant implications, as the vast majority of existing data and computationally efficiency RL algorithms are reliant on the DPP. To study its existence, we comprehensively examine combinations of controller and adversary attributes, providing streamlined proofs grounded in a unified methodology. We also offer counterexamples for settings in which a DPP with full generality is absent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google