Bidding Games on Markov Decision Processes with Quantitative Reachability Objectives

要約

グラフ ゲームは、マルチエージェント システムとその環境の戦略的推論の基礎となります。
我々は、確率的な環境の不確実性とエージェント間のオークションベースの相互作用を組み合わせた、(有限の)マルコフ決定プロセス(MDP)上の入札ゲームとして形式化された、新しいグラフゲームファミリーを研究します。
通常、MDP では、1 人の意思決定者が一連のアクションを選択し、無限のパスにわたる確率分布を生成します。
MDP での入札ゲームでは、到達可能性プレーヤーと安全性プレーヤーと呼ばれる 2 人のプレーヤーが、各ステップで次のアクションを選択する特権を求めて入札します。
到達可能性プレーヤーの目標は、ターゲット頂点に到達する確率を最大化することですが、安全性プレーヤーの目標は、それを最小限に抑えることです。
これらのゲームはグラフ上の従来の入札ゲームを一般化したものであり、既存の分析手法は拡張されません。
たとえば、従来の入札ゲームの中心的な特性は、到達可能プレイヤーの勝利を保証するために必要かつ十分な予算であるしきい値予算の存在です。
MDP の場合、しきい値は予算と目標達成の確率との関係になります。
私たちは、一般的な MDP のしきい値と最適なポリシーを近似する値反復アルゴリズムを考案し、非周期 MDP の正確な解を計算します。そして、しきい値を見つけることは、単純な確率ゲームを解くのと少なくとも同じくらい難しいことを示します。

要約(オリジナル)

Graph games are fundamental in strategic reasoning of multi-agent systems and their environments. We study a new family of graph games which combine stochastic environmental uncertainties and auction-based interactions among the agents, formalized as bidding games on (finite) Markov decision processes (MDP). Normally, on MDPs, a single decision-maker chooses a sequence of actions, producing a probability distribution over infinite paths. In bidding games on MDPs, two players — called the reachability and safety players — bid for the privilege of choosing the next action at each step. The reachability player’s goal is to maximize the probability of reaching a target vertex, whereas the safety player’s goal is to minimize it. These games generalize traditional bidding games on graphs, and the existing analysis techniques do not extend. For instance, the central property of traditional bidding games is the existence of a threshold budget, which is a necessary and sufficient budget to guarantee winning for the reachability player. For MDPs, the threshold becomes a relation between the budgets and probabilities of reaching the target. We devise value-iteration algorithms that approximate thresholds and optimal policies for general MDPs, and compute the exact solutions for acyclic MDPs, and show that finding thresholds is at least as hard as solving simple-stochastic games.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google