Two Completely Parameter-Free Alternating Gradient Projection Algorithms for Nonconvex-(strongly) Concave Minimax Problems

要約

さまざまな新しいアプリケーションにおける重要性のため、ミニマックス問題を解決するための効率的なアルゴリズムが最近ますます注目を集めています。
ただし、既存のアルゴリズムの多くは、最適な反復の複雑さを実現するために、問題パラメーターに関する事前の知識を必要とします。
この論文では、2 つの完全にパラメータフリーの交互勾配射影アルゴリズム、つまり PF-AGP-NSC アルゴリズムと PF-AGP-NC アルゴリズムを提案し、それぞれ次の式を使用して滑らかな非凸-強い凹と非凸-凹のミニマックス問題を解決します。
バックトラッキング戦略。リプシュティス定数 $L$ や強く凹んだ定数 $\mu$ などのパラメーターに関する事前知識を必要としません。
さらに、 $\varepsilon$ 定常点を取得するための PF-AGP-NSC アルゴリズムと PF-AGP-NC アルゴリズムの勾配呼び出しの総数は $\mathcal{O}\left(
それぞれ L\kappa^3\varepsilon^{-2} \right)$ と $\mathcal{O}\left( L^4\varepsilon^{-4} \right)$、ここで $\kappa$ は条件です
番号。
私たちが知る限り、PF-AGP-NSC アルゴリズムと PF-AGP-NC アルゴリズムは、それぞれ非凸-強凹ミニマックス問題と非凸-凹ミニマックス問題を解決するための、完全にパラメーターを使用しない最初のアルゴリズムです。
数値結果は、提案された PF-AGP アルゴリズムの効率を検証します。

要約(オリジナル)

Due to their importance in various emerging applications, efficient algorithms for solving minimax problems have recently received increasing attention. However, many existing algorithms require prior knowledge of the problem parameters in order to achieve optimal iteration complexity. In this paper, we propose two completely parameter-free alternating gradient projection algorithms, i.e., the PF-AGP-NSC algorithm and the PF-AGP-NC algorithm, to solve the smooth nonconvex-strongly concave and nonconvex-concave minimax problems respectively using a backtracking strategy, which does not require prior knowledge of parameters such as the Lipschtiz constant $L$ or the strongly concave constant $\mu$. Moreover, we show that the total number of gradient calls of the PF-AGP-NSC algorithm and the PF-AGP-NC algorithm to obtain an $\varepsilon$-stationary point is upper bounded by $\mathcal{O}\left( L\kappa^3\varepsilon^{-2} \right)$ and $\mathcal{O}\left( L^4\varepsilon^{-4} \right)$ respectively, where $\kappa$ is the condition number. As far as we know, the PF-AGP-NSC algorithm and the PF-AGP-NC algorithm are the first completely parameter-free algorithms for solving nonconvex-strongly concave minimax problems and nonconvex-concave minimax problems respectively. Numerical results validate the efficiency of the proposed PF-AGP algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google