Contractivity and linear convergence in bilinear saddle-point problems: An operator-theoretic approach

要約

凸凹双線形鞍点問題 $\min_x \max_y f(x) + y^\top Ax – g(y)$ を研究します。ここで、関数 $f$ と $g の両方が存在するか、一方のみが存在するか、または存在しません。
$ は強く凸であり、行列 $A$ 上の適切なランク条件が保持されます。
この問題の解決は、多くの機械学習タスクの中核です。
演算子理論のツールを使用することにより、シャンボール ポック法を含むいくつかの一次主双対アルゴリズムの収縮性 (ひいては線形収束) を系統的に証明します。
私たちのアプローチは簡潔で洗練された証明をもたらし、既知の結果と比較して新たな収束保証とより厳しい境界をもたらします。

要約(オリジナル)

We study the convex-concave bilinear saddle-point problem $\min_x \max_y f(x) + y^\top Ax – g(y)$, where both, only one, or none of the functions $f$ and $g$ are strongly convex, and suitable rank conditions on the matrix $A$ hold. The solution of this problem is at the core of many machine learning tasks. By employing tools from operator theory, we systematically prove the contractivity (in turn, the linear convergence) of several first-order primal-dual algorithms, including the Chambolle-Pock method. Our approach results in concise and elegant proofs, and it yields new convergence guarantees and tighter bounds compared to known results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google