Snacks: a fast large-scale kernel SVM solver

要約

【タイトル】Snacks：高速大規模カーネルSVMソルバー

【要約】
– カーネル手法は、非パラメトリック学習の強力なフレームワークを提供する。
– カーネル関数に基づき、リッジ回帰やサポートベクターマシンなどの線形統計学習ツールを適用しながら、豊富な関数空間で学習できる。
– しかし、標準的なカーネル法は、データポイント数に対して二次時間およびメモリの複雑さを抱えており、大規模学習には限界がある。
– この論文では、Kernel Support Vector Machinesの新しい大規模ソルバーとして、Snacksを提案する。
– 具体的には、カーネル行列のNyström近似と、確率的サブグラディエント法の加速バリアントに依存する。
– 詳細な実証評価を通じて、SnacksがベンチマークデータセットのさまざまなSVMソルバーと競合していることを、正式に示している。

要約(オリジナル)

Kernel methods provide a powerful framework for non parametric learning. They are based on kernel functions and allow learning in a rich functional space while applying linear statistical learning tools, such as Ridge Regression or Support Vector Machines. However, standard kernel methods suffer from a quadratic time and memory complexity in the number of data points and thus have limited applications in large-scale learning. In this paper, we propose Snacks, a new large-scale solver for Kernel Support Vector Machines. Specifically, Snacks relies on a Nystr\’om approximation of the kernel matrix and an accelerated variant of the stochastic subgradient method. We demonstrate formally through a detailed empirical evaluation, that it competes with other SVM solvers on a variety of benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI