Last-Iterate Convergence Properties of Regret-Matching Algorithms in Games

要約

後悔の$^+$（rm $^+$）に基づいて、2プレイヤーゼロサムゲームを解くためのアルゴリズムの最後の対象収束特性を研究します。
実際のゲームを解決するための広範な使用にもかかわらず、彼らの最後の収束については事実上何も知られていません。
RMタイプのダイナミクスを分析するための主要な障害は、後悔のオペレーターがリプシッツネスと（擬似）単調性を欠いていることです。
まず、RM $^+$、Predictive Rm $^+$、交互のRm $^+$など、実際に使用されるいくつかのバリアントが、すべての$ 3 \ Times 3 $ MATRIXゲームでも最後の項目の収束を保証することを数値的に示すことから始めます。
次に、スムージング技術、外程度のrm $^{+} $およびスムーズな予測rm $^+$に基づいて、これらのアルゴリズムの最近のバリエーションが、漸近的な最終的な収束を（レートなし）、$ 1/\ sqrt {t} $ best-sterate convergence、およびbest-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-rate-convergenceをお楽しみください。
私たちの分析は、アルゴリズムの限界点の幾何学的構造の新しい特性評価に基づいており、最後の適合性収束に関するほとんどの文献からの大幅な逸脱を示しています。
私たちの分析は独立した関心があり、非モノトーン演算子に基づくアルゴリズムの最後の対象となる収束を研究するための新鮮な視点を提供すると考えています。

要約(オリジナル)

We study last-iterate convergence properties of algorithms for solving two-player zero-sum games based on Regret Matching$^+$ (RM$^+$). Despite their widespread use for solving real games, virtually nothing is known about their last-iterate convergence. A major obstacle to analyzing RM-type dynamics is that their regret operators lack Lipschitzness and (pseudo)monotonicity. We start by showing numerically that several variants used in practice, such as RM$^+$, predictive RM$^+$ and alternating RM$^+$, all lack last-iterate convergence guarantees even on a simple $3\times 3$ matrix game. We then prove that recent variants of these algorithms based on a smoothing technique, extragradient RM$^{+}$ and smooth Predictive RM$^+$, enjoy asymptotic last-iterate convergence (without a rate), $1/\sqrt{t}$ best-iterate convergence, and when combined with restarting, linear-rate last-iterate convergence. Our analysis builds on a new characterization of the geometric structure of the limit points of our algorithms, marking a significant departure from most of the literature on last-iterate convergence. We believe that our analysis may be of independent interest and offers a fresh perspective for studying last-iterate convergence in algorithms based on non-monotone operators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google