Slingshot Perturbation to Learning in Monotone Games

要約

この論文は、戦略プロファイル空間でペイオフ関数の勾配が単調であり、加法性ノイズを含む可能性がある {\it 単調ゲーム} におけるナッシュ均衡の学習の問題を扱います。
楽観的な Follow-the- Regularized-Leader や楽観的な Mirror Descent に代表される、楽観的な学習アルゴリズム ファミリは、ノイズのないシナリオで最後の反復収束に成功し、ダイナミクスをナッシュ均衡に導きます。
最近新たに出現した傾向は、摂動アプローチの可能性を強調しています。摂動アプローチでは、アンカリング戦略 ({\it slingshot}) からの距離に基づいてペイオフ関数が摂動されます。
これに応えて、私たちはまず、完全なフィードバックとノイズの多いフィードバックの両方に対応する、単調なゲームで平衡を学習するための統一フレームワークを確立します。
次に、ノイズの存在に関係なく、近似平衡に向けて収束率を構築します。
第三に、スリングショット戦略を更新することでひねりを加え、現在の戦略を有限の間隔で固定します。
この革新により、保証されたレートで基礎となるゲームの正確なナッシュ均衡を特定できるようになります。
提案されたフレームワークは包括的であり、既存のペイオフに影響を与えるアルゴリズムを統合しています。
最後に、経験的な実証により、このフレームワークに基づいたアルゴリズムが大幅に加速された収束を示すことが確認されています。

要約(オリジナル)

This paper addresses the problem of learning Nash equilibria in {\it monotone games} where the gradient of the payoff functions is monotone in the strategy profile space, potentially containing additive noise. The optimistic family of learning algorithms, exemplified by optimistic Follow-the-Regularized-Leader and optimistic Mirror Descent, successfully achieves last-iterate convergence in scenarios devoid of noise, leading the dynamics to a Nash equilibrium. A recent emerging trend underscores the promise of the perturbation approach, where payoff functions are perturbed based on the distance from an anchoring, or {\it slingshot}, strategy. In response, we first establish a unified framework for learning equilibria in monotone games, accommodating both full and noisy feedback. Second, we construct the convergence rates toward an approximated equilibrium, irrespective of noise presence. Thirdly, we introduce a twist by updating the slingshot strategy, anchoring the current strategy at finite intervals. This innovation empowers us to identify the exact Nash equilibrium of the underlying game with guaranteed rates. The proposed framework is all-encompassing, integrating existing payoff-perturbed algorithms. Finally, empirical demonstrations affirm that our algorithms, grounded in this framework, exhibit significantly accelerated convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google