Accelerated First-Order Optimization under Nonlinear Constraints

要約

制約された最適化のための1次アルゴリズムと、制約された最適化のために新しいクラスの加速された1次アルゴリズムを設計するための非スムース動的システムとの類似性を活用します。
フランクウルフや投影勾配とは異なり、これらのアルゴリズムは、各反復で実行可能なセット全体にわたって最適化を回避します。
凸がない設定でも固定点への収束を証明し、凸状の設定の加速レートを連続時間と離散時間の両方で導き出します。
これらのアルゴリズムの重要な特性は、制約が位置の代わりに速度で表されることです。これは、自然に実行可能なセットのまばらで局所的で凸の近似につながります（実行可能なセットが非コンベックスであっても）。
したがって、複雑さは、決定変数の数と制約の数で穏やかに成長する傾向があり、これによりアルゴリズムが機械学習アプリケーションに適しています。
アルゴリズムを圧縮センシングとまばらな回帰問題に適用し、$ P = 1 $で最先端のパフォーマンスを回復しながら、非凸$ \ ell^p $制約（$ p <1 $）を効率的に扱うことができることを示します。

要約(オリジナル)

We exploit analogies between first-order algorithms for constrained optimization and non-smooth dynamical systems to design a new class of accelerated first-order algorithms for constrained optimization. Unlike Frank-Wolfe or projected gradients, these algorithms avoid optimization over the entire feasible set at each iteration. We prove convergence to stationary points even in a nonconvex setting and we derive accelerated rates for the convex setting both in continuous time, as well as in discrete time. An important property of these algorithms is that constraints are expressed in terms of velocities instead of positions, which naturally leads to sparse, local and convex approximations of the feasible set (even if the feasible set is nonconvex). Thus, the complexity tends to grow mildly in the number of decision variables and in the number of constraints, which makes the algorithms suitable for machine learning applications. We apply our algorithms to a compressed sensing and a sparse regression problem, showing that we can treat nonconvex $\ell^p$ constraints ($p<1$) efficiently, while recovering state-of-the-art performance for $p=1$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google