Error Scaling Laws for Kernel Classification under Source and Capacity Conditions

要約

カーネル分類の問題を考えます。
一部の分類器では、サンプル数による予測誤差の減衰率の最悪の場合の限界がわかっていますが、多くの場合、実際のデータセットの学習曲線を正確に記述することができません。
この作業では、数値的に示すように、標準のソースと容量の条件を満たす重要なクラスのデータ セットを考慮します。これは、多数の実際のデータ セットで構成されます。
ガウス設計では、ソース係数と容量係数の関数として誤分類 (予測) 誤差の減衰率を導き出します。
2 つの標準的なカーネル分類設定、つまりマージン最大化サポート ベクター マシン (SVM) とリッジ分類についてこれを行い、2 つの方法を比較します。
私たちのレートは、このクラスのデータセットの学習曲線を厳密に表しており、実際のデータでも観察されていることがわかりました。
私たちの結果は、いくつかの実際のデータセットで正確なカーネル分類のスケーリング則の指数の明示的な予測としても見ることができます。

要約(オリジナル)

We consider the problem of kernel classification. While worst-case bounds on the decay rate of the prediction error with the number of samples are known for some classifiers, they often fail to accurately describe the learning curves of real data sets. In this work, we consider the important class of data sets satisfying the standard source and capacity conditions, comprising a number of real data sets as we show numerically. Under the Gaussian design, we derive the decay rates for the misclassification (prediction) error as a function of the source and capacity coefficients. We do so for two standard kernel classification settings, namely margin-maximizing Support Vector Machines (SVM) and ridge classification, and contrast the two methods. We find that our rates tightly describe the learning curves for this class of data sets, and are also observed on real data. Our results can also be seen as an explicit prediction of the exponents of a scaling law for kernel classification that is accurate on some real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google