Optimal Sketching Bounds for Sparse Linear Regression

要約

タイトル：スパース線形回帰の最適スケッチング境界

要約：
– 研究目的：スパース線形回帰におけるオブリビアススケッチングを様々な損失関数で調べること
– 方法：
– $\ell_p$ノルム、またはロジスティックおよびReLU損失を含む広範なヒンジ損失関数の下で、$k$スパース線形回帰のオブリスビアススケッチングを調査する。
– スパース$\ell_2$ノルム回帰について、オブリビアススケッチングによる有効な行数について、$\Theta(k \log(d/k) /\varepsilon^2)$の分布があることを示し、定数倍まで厳密であることを示す。
– $\ell_p$損失については、上限に加えて、$O(k\log(k/\varepsilon)/\varepsilon^2)$の項がある。
– スパース回帰の重要な特別な場合であるスパース回復問題から、明らかに異なるスケッチング境界があることを示す。
– それに対して、$\ell_2$ノルム下で、上界は$O(k\log(d) /\varepsilon + k\log(k /\varepsilon)/\varepsilon^2)$であることを示し、スパース回復がスパース回帰よりも簡単であることを示す。
– スパースロジスティックおよびスパースReLU回帰を含むヒンジ損失関数のスパース回帰について、$o(d)$行で$o(\mu^2 k\log (\mu nd /\varepsilon) /\varepsilon^2)$のスケッチング境界を実現することができる最初の既知のスケッチング境界を与える。
– LASSO回帰に対しても同様のスケッチング境界が得られ、$\|Ax-b\|_2^2+\lambda\|x\|_1$を$x\in\mathbb{R}^d$で最小化することを目的として、スケッチング次元$O(\log(d)/(\lambda \varepsilon)^2)$が十分であり、$d$と$\lambda$に依存することを示すことができる。

要約(オリジナル)

We study oblivious sketching for $k$-sparse linear regression under various loss functions such as an $\ell_p$ norm, or from a broad class of hinge-like loss functions, which includes the logistic and ReLU losses. We show that for sparse $\ell_2$ norm regression, there is a distribution over oblivious sketches with $\Theta(k\log(d/k)/\varepsilon^2)$ rows, which is tight up to a constant factor. This extends to $\ell_p$ loss with an additional additive $O(k\log(k/\varepsilon)/\varepsilon^2)$ term in the upper bound. This establishes a surprising separation from the related sparse recovery problem, which is an important special case of sparse regression. For this problem, under the $\ell_2$ norm, we observe an upper bound of $O(k \log (d)/\varepsilon + k\log(k/\varepsilon)/\varepsilon^2)$ rows, showing that sparse recovery is strictly easier to sketch than sparse regression. For sparse regression under hinge-like loss functions including sparse logistic and sparse ReLU regression, we give the first known sketching bounds that achieve $o(d)$ rows showing that $O(\mu^2 k\log(\mu n d/\varepsilon)/\varepsilon^2)$ rows suffice, where $\mu$ is a natural complexity parameter needed to obtain relative error bounds for these loss functions. We again show that this dimension is tight, up to lower order terms and the dependence on $\mu$. Finally, we show that similar sketching bounds can be achieved for LASSO regression, a popular convex relaxation of sparse regression, where one aims to minimize $\|Ax-b\|_2^2+\lambda\|x\|_1$ over $x\in\mathbb{R}^d$. We show that sketching dimension $O(\log(d)/(\lambda \varepsilon)^2)$ suffices and that the dependence on $d$ and $\lambda$ is tight.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI