Non-Smooth Weakly-Convex Finite-sum Coupled Compositional Optimization

要約

この論文では、$\underline{\bf n}$on-$\underline{\bf s}$mooth $\underline{\bf w}$eakly-$\underline{\bf c と呼ばれる、新しい組成最適化問題群を調査します。
}$onvex $\underline{\bf f}$inite-sum $\underline{\bf c}$oupled $\underline{\bf c}$ompositional $\underline{\bf o}$ptimization (NSWC FCCO)。
FCCO は、機械学習や AI における幅広い用途に加え、経験的リスクの最小化に基づいて確率的アルゴリズムの欠点に対処できるため、FCCO への関心が高まっています。
しかし、FCCO に関する現在の研究では、内部機能と外部機能の両方がスムーズであると想定されており、より多様な問題に取り組む可能性は限られています。
私たちの研究は、外側関数が弱凸かつ非減少であり、内側関数が弱凸である、滑らかでない弱凸 FCCO を調べることによって、この領域を拡張します。
単一ループアルゴリズムを解析し、目的関数のモロー包絡線の $\epsilon$ 定常点を見つけるための複雑さを確立します。
さらに、アルゴリズムを拡張して、3 つの関数の入れ子配置を特徴とする、新しい非滑らかな弱凸 3 レベル有限和結合組成最適化問題を解決します。
最後に、提案されたアルゴリズムの有効性を示す実証研究を使用して、双方向部分 AUC 最大化およびマルチインスタンス双方向部分 AUC 最大化のための深層学習におけるアルゴリズムのアプリケーションを調査します。

要約(オリジナル)

This paper investigates new families of compositional optimization problems, called $\underline{\bf n}$on-$\underline{\bf s}$mooth $\underline{\bf w}$eakly-$\underline{\bf c}$onvex $\underline{\bf f}$inite-sum $\underline{\bf c}$oupled $\underline{\bf c}$ompositional $\underline{\bf o}$ptimization (NSWC FCCO). There has been a growing interest in FCCO due to its wide-ranging applications in machine learning and AI, as well as its ability to address the shortcomings of stochastic algorithms based on empirical risk minimization. However, current research on FCCO presumes that both the inner and outer functions are smooth, limiting their potential to tackle a more diverse set of problems. Our research expands on this area by examining non-smooth weakly-convex FCCO, where the outer function is weakly convex and non-decreasing, and the inner function is weakly-convex. We analyze a single-loop algorithm and establish its complexity for finding an $\epsilon$-stationary point of the Moreau envelop of the objective function. Additionally, we also extend the algorithm to solving novel non-smooth weakly-convex tri-level finite-sum coupled compositional optimization problems, which feature a nested arrangement of three functions. Lastly, we explore the applications of our algorithms in deep learning for two-way partial AUC maximization and multi-instance two-way partial AUC maximization, using empirical studies to showcase the effectiveness of the proposed algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google