On Dynamic Program Decompositions of Static Risk Measures

要約

タイトル：静的リスク指標の動的プログラム分解について

要約：
– マルコフ決定過程における静的リスク回避目標を最適化することは困難である。
– 前の研究では、リスク指標の動的分解を使用することが提案され、拡張状態空間上で動的プログラムを定式化するのに役立つとされている。
– この論文は、いくつかの既存の分解が本質的に不正確であることを示し、文献でのいくつかの主張に反することを示す。
– 特に、CVaRおよびEVaRリスク指標の人気のある分解が真のリスク値の厳格な上限評価であることを示す例を示す。
– ただし、VaRに対して正確な分解が可能であり、VaRとCVaRの動的プログラムの特性の根本的な違いを示す簡単な証明を示す。

要約(オリジナル)

Optimizing static risk-averse objectives in Markov decision processes is challenging because they do not readily admit dynamic programming decompositions. Prior work has proposed to use a dynamic decomposition of risk measures that help to formulate dynamic programs on an augmented state space. This paper shows that several existing decompositions are inherently inexact, contradicting several claims in the literature. In particular, we give examples that show that popular decompositions for CVaR and EVaR risk measures are strict overestimates of the true risk values. However, an exact decomposition is possible for VaR, and we give a simple proof that illustrates the fundamental difference between VaR and CVaR dynamic programming properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI