Markov Potential Game with Final-time Reach-Avoid Objectives

要約

ポテンシャル ゲーム理論と確率的リーチ回避制御を統合することにより、最終時間のリーチ回避目標を備えたマルコフ ポテンシャル ゲームを定式化します。
私たちが焦点を当てているのは、プレイヤーが同じマルチプレイヤーの到達回避目標、つまりすべての参加者が互いに衝突を避けながら、指定された時間までに指定された目標状態に到達する確率を最大化する、マルチプレイヤーの軌道計画です。
既存のアプローチでは、グローバル ポリシーを介してアクションを集中的に計算する必要があり、法外に高額な通信コストがかかる可能性があります。
代わりに、ローカルな状態のフィードバック政策を介してグローバルな政策を近似することに焦点を当てます。
まず、再帰的なシングル プレーヤーの到達-回避値の反復を、ローカル ポリシーを備えたマルチプレーヤー フレームワークに適応させ、同じ再帰が結合状態空間で成り立つことを示します。
各プレイヤーの最適なローカル ポリシーを見つけるために、他のプレイヤーの占有測度を使用して、マルチプレイヤーの到達回避値関数がジョイント状態からローカル状態に投影されます。
次に、マルチプレイヤー値の反復が純粋なナッシュ均衡に収束するための反復最良応答スキームを提案します。
シミュレーションにおけるマルチプレイヤーのモーション プランニングのための衝突のないポリシーを見つける際のアプローチの有用性を実証します。

要約(オリジナル)

We formulate a Markov potential game with final-time reach-avoid objectives by integrating potential game theory with stochastic reach-avoid control. Our focus is on multi-player trajectory planning where players maximize the same multi-player reach-avoid objective: the probability of all participants reaching their designated target states by a specified time, while avoiding collisions with one another. Existing approaches require centralized computation of actions via a global policy, which may have prohibitively expensive communication costs. Instead, we focus on approximations of the global policy via local state feedback policies. First, we adapt the recursive single player reach-avoid value iteration to the multi-player framework with local policies, and show that the same recursion holds on the joint state space. To find each player’s optimal local policy, the multi-player reach-avoid value function is projected from the joint state to the local state using the other players’ occupancy measures. Then, we propose an iterative best response scheme for the multi-player value iteration to converge to a pure Nash equilibrium. We demonstrate the utility of our approach in finding collision-free policies for multi-player motion planning in simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google