Approximation and generalization properties of the random projection classification method

要約

分類器の一般化ギャップは、分類器が選択される一連の関数の複雑さに関係します。
ランダムな 1 次元特徴のしきい値処理からなる低複雑度の分類器のファミリーを研究します。
この特徴は、データを k までの次数の単項式でパラメータ化された高次元空間に埋め込んだ後、ランダムな線上に投影することによって取得されます。
より具体的には、拡張データは n 回投影され、トレーニング データのパフォーマンスに基づいて、n 回の中で最良の分類子が選択されます。
クラス条件密度に関する十分な知識があれば、穏やかな条件下では、k と n が無限大になるにつれて、これらの分類器の誤差は最適 (ベイズ) 誤差に収束するため、このタイプの分類器は非常に柔軟であることを示します。
また、ランダム分類子の一般化ギャップも制限しました。
一般に、これらの境界は、VC 次元が O(ln n) より大きい分類器の境界よりも優れています。
特に、この境界は、射影の数 n が極端に大きくない限り、ランダム射影アプローチの汎化ギャップが拡張空間における線形分類器の汎化ギャップよりも大幅に小さいことを意味します。
したがって、特定の分類問題 (たとえば、羅生門比が大きい問題) では、クラスの中から最良のパラメータを選択するのではなく、ランダムにパラメータを選択することによって一般化特性が大きく向上する可能性があります。

要約(オリジナル)

The generalization gap of a classifier is related to the complexity of the set of functions among which the classifier is chosen. We study a family of low-complexity classifiers consisting of thresholding a random one-dimensional feature. The feature is obtained by projecting the data on a random line after embedding it into a higher-dimensional space parametrized by monomials of order up to k. More specifically, the extended data is projected n-times and the best classifier among those n, based on its performance on training data, is chosen. We show that this type of classifier is extremely flexible as, given full knowledge of the class conditional densities, under mild conditions, the error of these classifiers would converge to the optimal (Bayes) error as k and n go to infinity. We also bound the generalization gap of the random classifiers. In general, these bounds are better than those for any classifier with VC dimension greater than O(ln n). In particular, the bounds imply that, unless the number of projections n is extremely large, the generalization gap of the random projection approach is significantly smaller than that of a linear classifier in the extended space. Thus, for certain classification problems (e.g., those with a large Rashomon ratio), there is a potntially large gain in generalization properties by selecting parameters at random, rather than selecting the best one amongst the class.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google