High-Dimensional Analysis of Bootstrap Ensemble Classifiers

要約

ブートストラップの方法は、長い間、機械学習におけるアンサンブル学習の基礎でした。
このホワイトペーパーでは、大規模で成長するサンプルサイズと特徴的な寸法のコンテキストで、最小二乗サポートベクターマシン（LSSVM）アンサンブルに適用されるブートストラップ技術の理論分析を示します。
ランダムマトリックス理論からツールを活用すると、それぞれがデータの異なるサブセットでトレーニングされている複数の弱い分類子から決定機能を集約するこの分類器のパフォーマンスを調査します。
高次元の設定でのブートストラップメソッドの使用に関する洞察を提供し、その影響の理解を高めます。
これらの調査結果に基づいて、サブセットの数とLSSVMのパフォーマンスを最大化する正規化パラメーターを選択する戦略を提案します。
合成および現実世界のデータセットに関する経験的実験は、理論的な結果を検証します。

要約(オリジナル)

Bootstrap methods have long been a cornerstone of ensemble learning in machine learning. This paper presents a theoretical analysis of bootstrap techniques applied to the Least Square Support Vector Machine (LSSVM) ensemble in the context of large and growing sample sizes and feature dimensionalities. Leveraging tools from Random Matrix Theory, we investigate the performance of this classifier that aggregates decision functions from multiple weak classifiers, each trained on different subsets of the data. We provide insights into the use of bootstrap methods in high-dimensional settings, enhancing our understanding of their impact. Based on these findings, we propose strategies to select the number of subsets and the regularization parameter that maximize the performance of the LSSVM. Empirical experiments on synthetic and real-world datasets validate our theoretical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google