A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization

要約

このホワイトペーパーでは、グループ分布の堅牢な最適化（GDRO）や不均衡なデータを使用した学習など、アプリケーションに関する凸型の有限サム結合組成最適化（CFCCO）のクラスを研究します。
これらの問題に対処するために、ALEXRと呼ばれる効率的なシングルループプライマルドアルブロック座標確率的アルゴリズムを導入します。
このアルゴリズムは、二重変数の外挿および原始変数の確率的近位勾配降下更新を伴うブロック座標確率ミラー上昇を採用しています。
関与する関数の滑らかさと非滑らかさ条件の下で凸型および強く凸症例の両方でALEXRの収束速度を確立します。これにより、滑らかなCFCCO問題に関する以前の作品の最良のレートを改善するだけでなく、GDROの二重形態などのより困難な非滑らかな問題を解決するためのCFCCOの領域も拡大します。
最後に、CFCCOの確率的アルゴリズムの広範なクラス内でALEXRの（近く）最適性を実証し、より低い複雑さの境界を導き出します。
ROC曲線（PAUC）の最大化下のGDROおよび部分領域の実験結果は、アルゴリズムの有望なパフォーマンスを示しています。

要約(オリジナル)

This paper studies a class of convex Finite-sum Coupled Compositional Optimization (cFCCO) problems with applications including group distributionally robust optimization (GDRO) and learning with imbalanced data. To better address these problems, we introduce an efficient single-loop primal-dual block-coordinate stochastic algorithm called ALEXR. The algorithm employs block-coordinate stochastic mirror ascent with extrapolation for the dual variable and stochastic proximal gradient descent updates for the primal variable. We establish the convergence rates of ALEXR in both convex and strongly convex cases under smoothness and non-smoothness conditions of involved functions, which not only improve the best rates in previous works on smooth cFCCO problems but also expand the realm of cFCCO for solving more challenging non-smooth problems such as the dual form of GDRO. Finally, we derive lower complexity bounds, demonstrating the (near-)optimality of ALEXR within a broad class of stochastic algorithms for cFCCO. Experimental results on GDRO and partial Area Under the ROC Curve (pAUC) maximization demonstrate the promising performance of our algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google