On Dynamic Programming Decompositions of Static Risk Measures in Markov Decision Processes

要約

マルコフ意思決定プロセスでは、強化学習 (RL) アルゴリズムで一般的な標準の動的計画方程式が認められないため、静的リスク回避目標を最適化することは困難です。
離散的なリスク レベルで状態空間を拡張する動的計画分解は、最近、RL コミュニティで人気を集めています。
これまでの研究では、リスク レベルが十分に離散化されている場合、これらの分解が最適であることが示されています。
ただし、Conditional-Value-at-Risk (CVaR) と Entropic-Value-at-Risk (EVaR) の一般的な分解は、離散化レベルに関係なく本質的に次善であることを示します。
特に、先行文献で保持されていると想定されていた鞍点特性が違反される可能性があることを示します。
ただし、分解はバリュー・アット・リスクに当てはまり、私たちの証明は、このリスク尺度が CVaR および EVaR とどのように異なるかを示しています。
リスク回避アルゴリズムはリスクの高い環境で使用され、アルゴリズムの正しさがより重要になるため、私たちの発見は重要です。

要約(オリジナル)

Optimizing static risk-averse objectives in Markov decision processes is difficult because they do not admit standard dynamic programming equations common in Reinforcement Learning (RL) algorithms. Dynamic programming decompositions that augment the state space with discrete risk levels have recently gained popularity in the RL community. Prior work has shown that these decompositions are optimal when the risk level is discretized sufficiently. However, we show that these popular decompositions for Conditional-Value-at-Risk (CVaR) and Entropic-Value-at-Risk (EVaR) are inherently suboptimal regardless of the discretization level. In particular, we show that a saddle point property assumed to hold in prior literature may be violated. However, a decomposition does hold for Value-at-Risk and our proof demonstrates how this risk measure differs from CVaR and EVaR. Our findings are significant because risk-averse algorithms are used in high-stake environments, making their correctness much more critical.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google