Set-based value operators for non-stationary Markovian environments

要約

この論文では、コンパクトなセットの不確実なパラメータを持つ有限状態マルコフ決定プロセス (MDP) を分析し、セットベースの不動点理論を介してロバストな MDP の結果を再検討します。
この目的を達成するために、ベルマン演算子とポリシー評価演算子を値関数空間上の契約演算子に一般化し、それらを \emph{値演算子} と表します。
これらの値演算子を値関数の \emph{set​​s} に作用するように持ち上げ、それらを \emph{set​​-based 値演算子} と表します。
集合ベースの値演算子がコンパクトな値関数集合の空間では \emph{contractions} であることを証明します。
集合論からの洞察を活用して、古典的なロバストな MDP 文献の長方形条件を、すべての値演算子の包含条件に一般化します。これは、より弱く、パラメーターが不確実な MDP と動的プログラミングの短縮演算子のより大きなセットに適用できます。
長方形条件と包含条件の両方により、セットベースの値演算子の固定小数点セットに独自の極値要素が含まれることが十分に保証されることを証明します。
不確実な MDP パラメータの凸集合とコンパクト集合について、古典的なロバスト値関数と集合ベースのベルマン演算子の固定小数点集合の上限との間の等価性を示します。
コンパクトなセットで動的に変化する MDP パラメーターの下で、値の反復に対するセットの収束結果を証明します。そうでなければ単一の値の関数に収束しない可能性があります。
最後に、惑星探査と成層圏の測位における確率的経路計画問題に対する新しい保証を導き出します。

要約(オリジナル)

This paper analyzes finite state Markov Decision Processes (MDPs) with uncertain parameters in compact sets and re-examines results from robust MDP via set-based fixed point theory. To this end, we generalize the Bellman and policy evaluation operators to contracting operators on the value function space and denote them as \emph{value operators}. We lift these value operators to act on \emph{sets} of value functions and denote them as \emph{set-based value operators}. We prove that the set-based value operators are \emph{contractions} in the space of compact value function sets. Leveraging insights from set theory, we generalize the rectangularity condition in classic robust MDP literature to a containment condition for all value operators, which is weaker and can be applied to a larger set of parameter-uncertain MDPs and contracting operators in dynamic programming. We prove that both the rectangularity condition and the containment condition sufficiently ensure that the set-based value operator’s fixed point set contains its own extrema elements. For convex and compact sets of uncertain MDP parameters, we show equivalence between the classic robust value function and the supremum of the fixed point set of the set-based Bellman operator. Under dynamically changing MDP parameters in compact sets, we prove a set convergence result for value iteration, which otherwise may not converge to a single value function. Finally, we derive novel guarantees for probabilistic path-planning problems in planet exploration and stratospheric station-keeping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google