Convergence analysis and acceleration of the smoothing methods for solving extensive-form games

要約

拡張形式のゲームは、近年かなり研究されています。
複数の決定ポイントと不完全な情報を持つゲームを表すことができるため、ポーカーなどの不確実な入力を持つゲームを作成するのに役立ちます。
2 人のプレーヤーとゼロサム、つまりペイオフの合計が常にゼロである拡張形式のゲームを考えます。
このようなゲームでは、最適な戦略を見つける問題は、双一次鞍点問題として定式化できます。
この定式化は、各プレイヤーのすべての決定ポイントでの戦略を表す変数を持っているため、ゲームのサイズに応じて巨大になります。
このような大規模な双一次鞍点問題を解決するために、平滑化手法である過剰ギャップ法 (EGT) が研究されてきました。
このメソッドは、誤差が $\mathcal{O}(1/k)$ で収束することが保証されている一連の近似解を生成します。ここで、$k$ は反復回数です。
ただし、ゲームサイズに関連するエラーの理論的境界が不十分であるという欠点があります。
これにより、大規模なゲームには適用できません。
私たちの目標は、大規模なゲームに適用できるように、拡張形式のゲームを解くための平滑化方法を改善することです。
この目的のために、私たちはこの作業で 2 つの貢献を行います。
まず、ゲーム サイズに関連する理論上の境界を改善するために、平滑化法で使用される強い凸関数をわずかに変更します。
次に、センタリング トリックと呼ばれるヒューリスティックを提案します。これにより、平滑化法を他の方法と組み合わせることができ、その結果、実際の収束が加速されます。
その結果、従来のスムージング手法ではうまく機能しなかったゲームで優れたパフォーマンスを実現するために、EGT と拡張フォーム ゲーム用の最先端の手法である CFR+ を組み合わせます。
提案された平滑化方法は、実際に大規模なゲームを解決する可能性があることが示されています。

要約(オリジナル)

The extensive-form game has been studied considerably in recent years. It can represent games with multiple decision points and incomplete information, and hence it is helpful in formulating games with uncertain inputs, such as poker. We consider an extended-form game with two players and zero-sum, i.e., the sum of their payoffs is always zero. In such games, the problem of finding the optimal strategy can be formulated as a bilinear saddle-point problem. This formulation grows huge depending on the size of the game, since it has variables representing the strategies at all decision points for each player. To solve such large-scale bilinear saddle-point problems, the excessive gap technique (EGT), a smoothing method, has been studied. This method generates a sequence of approximate solutions whose error is guaranteed to converge at $\mathcal{O}(1/k)$, where $k$ is the number of iterations. However, it has the disadvantage of having poor theoretical bounds on the error related to the game size. This makes it inapplicable to large games. Our goal is to improve the smoothing method for solving extensive-form games so that it can be applied to large-scale games. To this end, we make two contributions in this work. First, we slightly modify the strongly convex function used in the smoothing method in order to improve the theoretical bounds related to the game size. Second, we propose a heuristic called centering trick, which allows the smoothing method to be combined with other methods and consequently accelerates the convergence in practice. As a result, we combine EGT with CFR+, a state-of-the-art method for extensive-form games, to achieve good performance in games where conventional smoothing methods do not perform well. The proposed smoothing method is shown to have the potential to solve large games in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google