Fast Kernel Methods for Generic Lipschitz Losses via \texorpdfstring{$p$}{p}-Sparsified Sketches

要約

カーネル メソッドは、重要な計算上の制限に悩まされながらも、強固な理論的基盤を享受する学習アルゴリズムです。
縮小された次元の部分空間内で解を探すことからなるスケッチは、これらの計算負荷を軽減するためのよく研究されたアプローチです。
ただし、ガウス スケッチなどの統計的に正確なスケッチには通常、null エントリがほとんど含まれていないため、カーネル メソッドへの適用や非スパース グラム行列は実際には低速のままです。
この論文では、スパース化されたガウス (および Rademacher) スケッチが理論的に有効な近似を生成する一方で、効率的な \emph{分解トリック} のおかげで時間とスペースを大幅に節約できることを示します。
私たちの方法をサポートするために、一般的なリプシッツ損失を使用して、単一および複数の出力カーネル問題の過剰リスク境界を導き出し、これにより、ロバストな回帰から複数の分位点回帰まで、幅広いアプリケーションに新しい保証を提供します。
私たちの理論的結果は、SOTA スケッチ法に対する私たちのアプローチの経験的優位性を示す実験で補完されます。

要約(オリジナル)

Kernel methods are learning algorithms that enjoy solid theoretical foundations while suffering from important computational limitations. Sketching, which consists in looking for solutions among a subspace of reduced dimension, is a well studied approach to alleviate these computational burdens. However, statistically-accurate sketches, such as the Gaussian one, usually contain few null entries, such that their application to kernel methods and their non-sparse Gram matrices remains slow in practice. In this paper, we show that sparsified Gaussian (and Rademacher) sketches still produce theoretically-valid approximations while allowing for important time and space savings thanks to an efficient \emph{decomposition trick}. To support our method, we derive excess risk bounds for both single and multiple output kernel problems, with generic Lipschitz losses, hereby providing new guarantees for a wide range of applications, from robust regression to multiple quantile regression. Our theoretical results are complemented with experiments showing the empirical superiority of our approach over SOTA sketching methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google