Decentralized gradient descent maximization method for composite nonconvex strongly-concave minimax problems

要約

タイトル： 複合非凸の強凸ミニマックス問題に対する分散勾配降下法最大化メソッド

要約：本研究は、ミニマックス問題に着目し、分散型の非凸の強凸最小最大構造最適化を解決するための初めてのアプローチを提案。これまでの研究は、最大化変数に制約があるスムーズな問題のみを取り扱っており、本研究では、最小化と最大化変数の両方に凸非スムース項を含む複合的問題に対する最大化分散勾配降下法を提案。新しい分散ミニマックス問題のリフォーミュレーションに基づき、強制双方向制約を吸収するための係数を導入し、従来と比較して、局所最大化の二重更新で主要ステップサイズを大きくすることができ、計算効率がさらに向上するため、双方向のコンセンサスをなくすというイノベーションがある。数値実験から、提案アルゴリズムのパフォーマンスが示される。以下は詳細なポイント。

– ミニマックス問題への注目により、新しい非凸の強凸最小最大構造最適化の分散問題を解決するための初アプローチを提案。
– 最大化変数に制約があるスムーズな問題に焦点を当てた従来の研究と比較して、最小化と最大化変数の両方に凸非スムース項を含む複合最小最大問題に対して、分散勾配降下法を提案。
– 引数として、二重合意制約を吸収するための係数が導入され、双方向のコンセンサスをなくすことで局所最大化の二重更新が可能になり、アルゴリズムの計算時間を短縮。
– 先行研究に比べて、提案アルゴリズムによる解決策の複雑さが低下し、近似最適解を生成する反復の複雑さが低くなる。
– 新提案法に関する数値実験を通じて、提案法の良好なパフォーマンスが示される。

要約(オリジナル)

Minimax problems have recently attracted a lot of research interests. A few efforts have been made to solve decentralized nonconvex strongly-concave (NCSC) minimax-structured optimization; however, all of them focus on smooth problems with at most a constraint on the maximization variable. In this paper, we make the first attempt on solving composite NCSC minimax problems that can have convex nonsmooth terms on both minimization and maximization variables. Our algorithm is designed based on a novel reformulation of the decentralized minimax problem that introduces a multiplier to absorb the dual consensus constraint. The removal of dual consensus constraint enables the most aggressive (i.e., local maximization instead of a gradient ascent step) dual update that leads to the benefit of taking a larger primal stepsize and better complexity results. In addition, the decoupling of the nonsmoothness and consensus on the dual variable eases the analysis of a decentralized algorithm; thus our reformulation creates a new way for interested researchers to design new (and possibly more efficient) decentralized methods on solving NCSC minimax problems. We show a global convergence result of the proposed algorithm and an iteration complexity result to produce a (near) stationary point of the reformulation. Moreover, a relation is established between the (near) stationarities of the reformulation and the original formulation. With this relation, we show that when the dual regularizer is smooth, our algorithm can have lower complexity results (with reduced dependence on a condition number) than existing ones to produce a near-stationary point of the original formulation. Numerical experiments are conducted on a distributionally robust logistic regression to demonstrate the performance of the proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI