Learning Strategic Value and Cooperation in Multi-Player Stochastic Games through Side Payments

要約

譲渡可能なユーティリティを備えた一般的な合計、n プレーヤー、戦略ゲームの場合、Harsanyi-Shapley 値は、1) プレーヤーの戦略的価値を定量化する。
2) サイドペイメントを通じて協力を合理的にする。
通常形式のゲームで HS 値を計算するための簡単な式を示します。
次に、HS 値を確率 (またはマルコフ) ゲームに一般化する 2 つの方法を提供し、そのうちの 1 つが一般化された Q 学習アルゴリズムを使用して計算できることを示します。
最後に、3 人以上のプレイヤーによる確率的グリッド ゲームで経験的検証が実行されます。
ソース コードは、正規形と確率的ゲーム設定の両方の HS 値を計算するために提供されています。

要約(オリジナル)

For general-sum, n-player, strategic games with transferable utility, the Harsanyi-Shapley value provides a computable method to both 1) quantify the strategic value of a player; and 2) make cooperation rational through side payments. We give a simple formula to compute the HS value in normal-form games. Next, we provide two methods to generalize the HS values to stochastic (or Markov) games, and show that one of them may be computed using generalized Q-learning algorithms. Finally, an empirical validation is performed on stochastic grid-games with three or more players. Source code is provided to compute HS values for both the normal-form and stochastic game setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google