Variable Selection in Convex Piecewise Linear Regression

要約

この論文では、凸区分線形回帰における変数選択の解決策として、疎勾配降下法を紹介します。モデルは $\mathrm{max}\langle a_j^\star, x \rangle + b_j^\star$ ($j = 1 の場合) として与えられます。
,\dots,k$ ここで、 $x \in \mathbb R^d$ は共変量ベクトルです。
ここで、$\{a_j^\star\}_{j=1}^k$ と $\{b_j^\star\}_{j=1}^k$ は、グラウンド トゥルースの重みベクトルと切片を示します。
共変量分布がサブガウス性と反集中特性を満たす場合、サブガウス ノイズの下で Sp-GD に対して非漸近局所収束解析が提供されます。
モデルの次数とパラメーターが固定されている場合、Sp-GD は $\mathcal{O}(\max(\epsilon^{-2}\sigma_z^2,1)s\log( を与えられた場合に $\epsilon$ 精度の推定値を提供します。
d/s))$ 観測値。$\sigma_z^2$ はノイズ分散を表します。
これは、$\mathcal{O}(s\log(d/s))$ ノイズのない観測から Sp-GD によって正確なパラメータが回復されることも意味します。
スパース最大アフィンの二乗損失の最適化は非凸であるため、Sp-GD の引力領域内で適切な初期推定値、つまり収束保証を呼び出すのに十分な精度を提供する初期化スキームが提案されます。
初期化スキームは、スパース主成分分析を使用して $\{ a_j^\star\}_{j=1}^k$ によって広がる部分空間を推定し、その後 $r$ カバー検索を適用してモデル パラメーターを推定します。
共変量とノイズ サンプルがガウス分布に従う場合、この初期化スキームに対して非漸近分析が提供されます。
モデルの次数とパラメーターが固定されている場合、この初期化スキームは $\mathcal{O}(\epsilon^{-2}\max(\sigma_z^4,\sigma_z^2,1) を考慮して $\epsilon$ 精度の推定値を提供します。
)s^2\log^4(d))$ の観測値。
モンテカルロの数値結果は、Sp-GD と初期化スキームの理論的発見を裏付けています。

要約(オリジナル)

This paper presents Sparse Gradient Descent as a solution for variable selection in convex piecewise linear regression where the model is given as $\mathrm{max}\langle a_j^\star, x \rangle + b_j^\star$ for $j = 1,\dots,k$ where $x \in \mathbb R^d$ is the covariate vector. Here, $\{a_j^\star\}_{j=1}^k$ and $\{b_j^\star\}_{j=1}^k$ denote the ground-truth weight vectors and intercepts. A non-asymptotic local convergence analysis is provided for Sp-GD under sub-Gaussian noise when the covariate distribution satisfies sub-Gaussianity and anti-concentration property. When the model order and parameters are fixed, Sp-GD provides an $\epsilon$-accurate estimate given $\mathcal{O}(\max(\epsilon^{-2}\sigma_z^2,1)s\log(d/s))$ observations where $\sigma_z^2$ denotes the noise variance. This also implies the exact parameter recovery by Sp-GD from $\mathcal{O}(s\log(d/s))$ noise-free observations. Since optimizing the squared loss for sparse max-affine is non-convex, an initialization scheme is proposed to provide a suitable initial estimate within the basin of attraction for Sp-GD, i.e. sufficiently accurate to invoke the convergence guarantees. The initialization scheme uses sparse principal component analysis to estimate the subspace spanned by $\{ a_j^\star\}_{j=1}^k$ then applies an $r$-covering search to estimate the model parameters. A non-asymptotic analysis is presented for this initialization scheme when the covariates and noise samples follow Gaussian distributions. When the model order and parameters are fixed, this initialization scheme provides an $\epsilon$-accurate estimate given $\mathcal{O}(\epsilon^{-2}\max(\sigma_z^4,\sigma_z^2,1)s^2\log^4(d))$ observations. Numerical Monte Carlo results corroborate theoretical findings for Sp-GD and the initialization scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google