Derivative-free Alternating Projection Algorithms for General Nonconvex-Concave Minimax Problems

要約

この論文では、近年機械学習、信号処理、その他多くの分野で広く注目を集めている非凸凹ミニマックス問題に対する 0 次アルゴリズムを研究します。
我々は、滑らかな非凸凹ミニマックス問題に対してゼロ次交互ランダム化勾配射影 (ZO-AGP) アルゴリズムを提案します。 $\varepsilon$ 定常点を取得するための反復計算量は $\mathcal{O}(\varepsilon
^{-4})$ であり、関数値の推定回数は反復ごとに $\mathcal{O}(d_{x}+d_{y})$ によって制限されます。
さらに、ブロックごとの非滑らかな非凸凹ミニマックス最適化問題を解くための 0 次ブロック交互ランダム化近接勾配アルゴリズム (ZO-BAPG) を提案します。$\varepsilon$ 定常点を取得するための反復計算量は $ によって制限されます。
\mathcal{O}(\varepsilon^{-4})$ であり、反復ごとの関数値推定の数は $\mathcal{O}(K d_{x}+d_{y})$ によって制限されます。
私たちの知る限り、一般的な滑らかな問題とブロックごとの非滑らかな非凸凹ミニマックス問題の両方を解決するために反復計算量が保証された 0 次アルゴリズムが開発されたのはこれが初めてです。
データポイズニング攻撃問題と分散非凸疎主成分分析問題に関する数値結果は、提案されたアルゴリズムの効率を検証します。

要約(オリジナル)

In this paper, we study zeroth-order algorithms for nonconvex-concave minimax problems, which have attracted widely attention in machine learning, signal processing and many other fields in recent years. We propose a zeroth-order alternating randomized gradient projection (ZO-AGP) algorithm for smooth nonconvex-concave minimax problems, and its iteration complexity to obtain an $\varepsilon$-stationary point is bounded by $\mathcal{O}(\varepsilon^{-4})$, and the number of function value estimation is bounded by $\mathcal{O}(d_{x}+d_{y})$ per iteration. Moreover, we propose a zeroth-order block alternating randomized proximal gradient algorithm (ZO-BAPG) for solving block-wise nonsmooth nonconvex-concave minimax optimization problems, and the iteration complexity to obtain an $\varepsilon$-stationary point is bounded by $\mathcal{O}(\varepsilon^{-4})$ and the number of function value estimation per iteration is bounded by $\mathcal{O}(K d_{x}+d_{y})$. To the best of our knowledge, this is the first time that zeroth-order algorithms with iteration complexity gurantee are developed for solving both general smooth and block-wise nonsmooth nonconvex-concave minimax problems. Numerical results on data poisoning attack problem and distributed nonconvex sparse principal component analysis problem validate the efficiency of the proposed algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google