Analyzing and Improving Greedy 2-Coordinate Updates for Equality-Constrained Optimization via Steepest Descent in the 1-Norm

要約

変数に対する合計制約を受ける滑らかな関数を最小化することを検討します。
この問題の貪欲な 2 座標更新と 1 ノルムの等価制約付き最急降下との間の関係を利用することにより、近位 Polyak-Lojasiewicz 仮定の下で貪欲な選択の収束率が得られます。この収束率はランダム選択よりも速く、依存関係はありません。
問題の次元 $n$。
次に、サポート ベクター マシンの二重問題で生じるように、総和制約と境界制約の両方を使用して最小化することを検討します。
この設定に対する既存の貪欲ルールは、些細な進捗のみを保証するか、計算に $O(n^2)$ の時間を必要とします。
L1 ノルムにおける境界および合計制約付きの最急降下は、以前のルールよりも反復ごとに多くの進歩を保証し、わずか $O(n \log n)$ 時間で計算できることを示します。

要約(オリジナル)

We consider minimizing a smooth function subject to a summation constraint over its variables. By exploiting a connection between the greedy 2-coordinate update for this problem and equality-constrained steepest descent in the 1-norm, we give a convergence rate for greedy selection under a proximal Polyak-Lojasiewicz assumption that is faster than random selection and independent of the problem dimension $n$. We then consider minimizing with both a summation constraint and bound constraints, as arises in the support vector machine dual problem. Existing greedy rules for this setting either guarantee trivial progress only or require $O(n^2)$ time to compute. We show that bound- and summation-constrained steepest descent in the L1-norm guarantees more progress per iteration than previous rules and can be computed in only $O(n \log n)$ time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google