New Equivalences Between Interpolation and SVMs: Kernels and Structured Features

要約

タイトル：InterpolationとSVMの新しい同等性：カーネルと構造化された特徴量

要約：この論文では、サポートベクターマシン（SVM）という教師あり学習アルゴリズムについて研究されています。通常、SVMは、カーネルトリックによって高次元の特徴空間にデータをマッピングしたのち、最小限の識別子を探して最大マージンの線形分類子を見つけます。このSVMの決定関数は、十分に過剰にパラメータ化された状況では、最小ノルムのラベル補完子と完全に一致することが、最近明らかにされています。サポートベクターの増殖現象（SVP）は非常に興味深い現象であり、線形およびカーネルモデルにおける無害な補間の最近の分析を利用して、SVMのパフォーマンスを理解することができます。ただし、以前のSVPの研究では、データ/特徴の分布およびスペクトルについて制限的な仮定が置かれていました。本論文では、再生カーネルヒルベルト空間で自由なクラスのラベル生成モデルを持つ任意の特徴空間においてSVPを証明するための新しい柔軟な分析フレームワークを提供しています。我々は、一般的な有界直交系（フーリエ特徴など）と独立した部分ガウス特徴のファミリーの特徴についてのSVPの条件を示しました。両方の場合において、以前の研究でカバーされていなかった多くの興味深い状況において、SVPが発生することを示し、これらの結果を利用して、カーネルSVM分類の新しい一般化結果を証明しました。

– SVMとは教師あり学習アルゴリズムで、最大マージン線形分類器を見つける。
– SVMの決定関数は、過剰にパラメータ化された状況では、最小ノルムまたはラベル補完子と一致する。
– 無害な補間に基づいた分析を利用することで、SVMの性能を理解できる。
– SVPは、SVMの決定関数が最小ノルムやラベル補完子と一致する現象である。
– 著者たちは、再生カーネルヒルベルト空間と柔軟なクラスのラベル生成モデルを持つ任意の特徴空間におけるSVPの新しい分析フレームワークを提供する。
– 空間の特徴にに応じて、一般的な有界な直交系および独立部分ガウス特徴空間においてSVPの条件を示す。
– 以前の研究ではカバーされていなかった興味深い状況において、SVPが生じることを示し、分類の新しい一般化結果を証明する。

要約(オリジナル)

The support vector machine (SVM) is a supervised learning algorithm that finds a maximum-margin linear classifier, often after mapping the data to a high-dimensional feature space via the kernel trick. Recent work has demonstrated that in certain sufficiently overparameterized settings, the SVM decision function coincides exactly with the minimum-norm label interpolant. This phenomenon of support vector proliferation (SVP) is especially interesting because it allows us to understand SVM performance by leveraging recent analyses of harmless interpolation in linear and kernel models. However, previous work on SVP has made restrictive assumptions on the data/feature distribution and spectrum. In this paper, we present a new and flexible analysis framework for proving SVP in an arbitrary reproducing kernel Hilbert space with a flexible class of generative models for the labels. We present conditions for SVP for features in the families of general bounded orthonormal systems (e.g. Fourier features) and independent sub-Gaussian features. In both cases, we show that SVP occurs in many interesting settings not covered by prior work, and we leverage these results to prove novel generalization results for kernel SVM classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI