Linearization Algorithms for Fully Composite Optimization

要約

この論文では、凸集合とコンパクト集合に対する完全複合最適化問題を解くための一次アルゴリズムを研究します。
微分可能成分と微分不可能な成分を別々に処理し、滑らかな部分のみを線形化することで、目的の構造を活用します。
これにより、微分不可能な問題のサブクラスに対応する、古典的な Frank-Wolfe 法と条件付き勾配スライディング アルゴリズムの新しい一般化が提供されます。
私たちのアルゴリズムは、線形最小化オラクルのより強力なバージョンに依存しており、いくつかの実用的なアプリケーションで効率的に実装できます。
アフィン不変分析を備えたメソッドの基本バージョンを提供し、凸型と非凸型の両方の目的のグローバル収束率を証明します。
さらに、凸の場合には、それに応じて複雑さが改善された高速化された方法を提案します。
最後に、理論的結果を裏付ける実験例を示します。

要約(オリジナル)

This paper studies first-order algorithms for solving fully composite optimization problems over convex and compact sets. We leverage the structure of the objective by handling its differentiable and non-differentiable components separately, linearizing only the smooth parts. This provides us with new generalizations of the classical Frank-Wolfe method and the Conditional Gradient Sliding algorithm, that cater to a subclass of non-differentiable problems. Our algorithms rely on a stronger version of the linear minimization oracle, which can be efficiently implemented in several practical applications. We provide the basic version of our method with an affine-invariant analysis and prove global convergence rates for both convex and non-convex objectives. Furthermore, in the convex case, we propose an accelerated method with correspondingly improved complexity. Finally, we provide illustrative experiments to support our theoretical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google