Adaptive and Optimal Second-order Optimistic Methods for Minimax Optimization

要約

凸凹最小最大問題を解くための最適な収束率を備えた、適応型で線探索のない二次法を提案します。
当社のアルゴリズムは、適応ステップ サイズにより、反復ごとに 1 つの線形システムのみを解く必要がある単純な更新ルールを特徴としており、ライン検索やバックトラック メカニズムの必要性を排除します。
具体的には、アルゴリズムを楽観的手法に基づいて構築し、二次情報を適切に組み合わせます。
さらに、一般的な適応スキームとは異なり、勾配ノルムと楽観的更新における予測誤差の関数としてステップ サイズを再帰的に定義します。
まず、ステップ サイズにヘッセ行列のリプシッツ定数の知識が必要なバリアントを分析します。
リプシッツ連続勾配の追加の仮定の下で、局所的にヘシアン リプシッツ定数を追跡し、反復が有界のままであることを保証することにより、パラメーターのないバージョンをさらに設計します。
また、ミニマックス最適化のための既存の 2 次アルゴリズムと比較することで、アルゴリズムの実際のパフォーマンスを評価します。

要約(オリジナル)

We propose adaptive, line search-free second-order methods with optimal rate of convergence for solving convex-concave min-max problems. By means of an adaptive step size, our algorithms feature a simple update rule that requires solving only one linear system per iteration, eliminating the need for line search or backtracking mechanisms. Specifically, we base our algorithms on the optimistic method and appropriately combine it with second-order information. Moreover, distinct from common adaptive schemes, we define the step size recursively as a function of the gradient norm and the prediction error in the optimistic update. We first analyze a variant where the step size requires knowledge of the Lipschitz constant of the Hessian. Under the additional assumption of Lipschitz continuous gradients, we further design a parameter-free version by tracking the Hessian Lipschitz constant locally and ensuring the iterates remain bounded. We also evaluate the practical performance of our algorithm by comparing it to existing second-order algorithms for minimax optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google