Performance of $\ell_1$ Regularization for Sparse Convex Optimization

要約

実際には広く採用されているにもかかわらず、LASSO およびグループ LASSO の保証には統計的問題を超える設定が著しく不足しており、これらのアルゴリズムは通常、決定論的入力に対するスパース凸最適化の文脈におけるヒューリスティックであると考えられています。
ベクトル値特徴を使用したスパース凸最適化のためのグループ LASSO に最初の回復保証を与えます。
厳密に凸関数 $l$ を最小化するときに十分に大きなグループ LASSO 正則化が適用される場合、最小化関数は勾配の最大 $\ell_2$ ノルムを持つベクトル値特徴でサポートされるスパース ベクトルであることを示します。
したがって、この手順を繰り返すと、直交マッチング追跡アルゴリズムと同じ特徴セットが選択され、弱い部分モジュール性引数を介した制限された強い凸性と滑らかさを備えた任意の関数 $l$ の回復保証が認められます。
これは、Tibshirani らの未解決の質問に答えます。
と安田ら。
私たちの結果は、限られた強い凸性と滑らかさのみを仮定した一般的な入力インスタンスの下での凸関数に対するグループ LASSO の経験的な成功を理論的に説明する最初のものです。
また、我々の結果は、安田らによって提案されたアテンションメカニズムに触発された特徴選択アルゴリズムであるシーケンシャルアテンションアルゴリズムの証明可能な保証を一般化します。
私たちの結果の応用として、損失がフロベニウス ノルムまたは他のエントリワイズ行列損失である場合によく研究されている列サブセット選択問題に対する新しい結果が得られます。
制限された強い凸性と滑らかさのみを必要とするこの問題に対する一般的な損失関数の最初の結果を示します。

要約(オリジナル)

Despite widespread adoption in practice, guarantees for the LASSO and Group LASSO are strikingly lacking in settings beyond statistical problems, and these algorithms are usually considered to be a heuristic in the context of sparse convex optimization on deterministic inputs. We give the first recovery guarantees for the Group LASSO for sparse convex optimization with vector-valued features. We show that if a sufficiently large Group LASSO regularization is applied when minimizing a strictly convex function $l$, then the minimizer is a sparse vector supported on vector-valued features with the largest $\ell_2$ norm of the gradient. Thus, repeating this procedure selects the same set of features as the Orthogonal Matching Pursuit algorithm, which admits recovery guarantees for any function $l$ with restricted strong convexity and smoothness via weak submodularity arguments. This answers open questions of Tibshirani et al. and Yasuda et al. Our result is the first to theoretically explain the empirical success of the Group LASSO for convex functions under general input instances assuming only restricted strong convexity and smoothness. Our result also generalizes provable guarantees for the Sequential Attention algorithm, which is a feature selection algorithm inspired by the attention mechanism proposed by Yasuda et al. As an application of our result, we give new results for the column subset selection problem, which is well-studied when the loss is the Frobenius norm or other entrywise matrix losses. We give the first result for general loss functions for this problem that requires only restricted strong convexity and smoothness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google