Piecewise Linearity of Min-Norm Solution Map of a Nonconvexly Regularized Convex Sparse Model

要約

凸 LASSO モデルの最小 $\ell_2$-norm 解、たとえば $\mathbf{x}_{\star}$ は、正則化パラメータ $\lambda$ の連続区分線形関数であることはよく知られています。
その符号付きスパースパターンは各線形部分内で一定です。
現在の研究はこの古典的な結果の拡張であり、前述の特性が最小ノルム解マップ $\mathbf{x}_{\star}(\mathbf{y},\lambda)$ に拡張されることを証明しています。ここで $\
mathbf{y}$ は、スケーリングされた一般化ミニマックス凹 (sGMC) モデルと呼ばれる LASSO の一般化の観測信号です。
sGMC モデルは、$\ell_1$-norm の非凸偏り変形をスパース正則化子として採用しますが、その目的関数は全体的に凸です。
$\mathbf{x}_{\star}(\mathbf{y},\lambda)$ の幾何学的特性に基づいて、閉形式を反復的に計算する最小角度回帰 (LARS) アルゴリズムの拡張を提案します。
各線形ゾーンにおける $\mathbf{x}_{\star}(\mathbf{y},\lambda)$ の式。
適切な条件下では、提案されたアルゴリズムは、有限反復内で解マップ $\mathbf{x}_{\star}(\mathbf{y},\lambda)$ 全体を取得することが証明されています。
特に、$\mathbf{x}_{\star}(\mathbf{y},\lambda)$ の連続性と区分的線形性を確立するための証明手法は斬新であり、次の 2 つの側面の貢献につながります。
$(\mathbf{y},\lambda)$ のセット値マッピングとして sGMC 解セットの連続性を確立します。
(b) $\mathbf{x}_{\star}(\mathbf{y},\lambda)$ の区分的線形性と区分的定数スパースパターンを証明するために、以前の研究が依存していたいかなる仮定も必要としません（一方、
$\mathbf{x}_{\star}(\mathbf{y},\lambda)$ のいくつかの追加のプロパティを証明します。以前の研究とは異なる仮定のセットを使用します)。

要約(オリジナル)

It is well known that the minimum $\ell_2$-norm solution of the convex LASSO model, say $\mathbf{x}_{\star}$, is a continuous piecewise linear function of the regularization parameter $\lambda$, and its signed sparsity pattern is constant within each linear piece. The current study is an extension of this classic result, proving that the aforementioned properties extend to the min-norm solution map $\mathbf{x}_{\star}(\mathbf{y},\lambda)$, where $\mathbf{y}$ is the observed signal, for a generalization of LASSO termed the scaled generalized minimax concave (sGMC) model. The sGMC model adopts a nonconvex debiased variant of the $\ell_1$-norm as sparse regularizer, but its objective function is overall-convex. Based on the geometric properties of $\mathbf{x}_{\star}(\mathbf{y},\lambda)$, we propose an extension of the least angle regression (LARS) algorithm, which iteratively computes the closed-form expression of $\mathbf{x}_{\star}(\mathbf{y},\lambda)$ in each linear zone. Under suitable conditions, the proposed algorithm provably obtains the whole solution map $\mathbf{x}_{\star}(\mathbf{y},\lambda)$ within finite iterations. Notably, our proof techniques for establishing continuity and piecewise linearity of $\mathbf{x}_{\star}(\mathbf{y},\lambda)$ are novel, and they lead to two side contributions: (a) our proofs establish continuity of the sGMC solution set as a set-valued mapping of $(\mathbf{y},\lambda)$; (b) to prove piecewise linearity and piecewise constant sparsity pattern of $\mathbf{x}_{\star}(\mathbf{y},\lambda)$, we do not require any assumption that previous work relies on (whereas to prove some additional properties of $\mathbf{x}_{\star}(\mathbf{y},\lambda)$, we use a different set of assumptions from previous work).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google