Graph-Based Reductions for Parametric and Weighted MDPs

要約

タイトル：パラメータ化されたMDPおよび重み付きMDPのためのグラフベースの簡約

要約：

– 本論文では、パラメータ化されたMarkov決定過程における重み付き到達性の簡約の複雑性について研究している。
– 具体的には、ある状態pがqよりも決して悪くならない場合、すべての多項式不定数値の評価に対して、pから到達できる最大の期待重みがqから到達できる最大の期待重みよりも大きい場合を指す。
– 計算的複雑性に関して、pがqよりも決して悪くならないかどうかを決定する問題は、coETR-completeであることを確立している。
– 一方、Markovチェーンの取り扱いに関して、研究する順序の同値類を多項式時間アルゴリズムで計算する方法を提供している。
– 加えて、決して悪くならない関係を下限に近似する2つの推論ルールを記述し、実証的に、大規模なMarkov決定過程の分析の効率的な前処理手法として使用できることを示している。

要約(オリジナル)

We study the complexity of reductions for weighted reachability in parametric Markov decision processes. That is, we say a state p is never worse than q if for all valuations of the polynomial indeterminates it is the case that the maximal expected weight that can be reached from p is greater than the same value from q. In terms of computational complexity, we establish that determining whether p is never worse than q is coETR-complete. On the positive side, we give a polynomial-time algorithm to compute the equivalence classes of the order we study for Markov chains. Additionally, we describe and implement two inference rules to under-approximate the never-worse relation and empirically show that it can be used as an efficient preprocessing step for the analysis of large Markov decision processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI