Granular Ball Twin Support Vector Machine

要約

混合物のノンパラメトリック最尤推定器の効率的かつスケーラブルな計算では、モデルストウィンサポートベクターマシン（TSVM）は、分類および回帰の努力に多才な適用可能性を備えた新興機械学習モデルです。
それにもかかわらず、TSVMは注目に値する課題に直面しています。$（i）$マトリックス反転の命令的需要は、大規模なデータセットに対するその効率と適用性に対する手ごわい障害を提示します。
$（ii）$主要な定式化における構造リスク最小化（SRM）原則の省略は、過剰適合リスクに対する脆弱性を高めます。
$（iii）$ TSVMは、ノイズと外れ値に対する高い感受性を示し、再サンプリングを受けた場合に不安定性を示します。
前述の課題を考慮して、粒状ボールツインサポートベクターマシン（GBTSVM）を提案します。
GBTSVMは、分類器を構築するための入力として、個々のデータポイントではなく粒状ボールを取ります。
これらの粒状のボールは、より粗い粒度を特徴としており、再サンプリングに堅牢性を示し、騒音や外れ値の影響に対する感受性を低下させます。
さらに、新しい大規模な粒状ボールツインサポートベクターマシン（LS-GBTSVM）を提案します。
LS-GBTSVMの最適化定式化により、2つの重要なファセットが保証されます。$（i）$は、マトリックスの反転の必要性を排除し、LS-GBTSVMの計算効率を合理化し、$（ii）$は、正規化条件の組み込みを通じてSRMの原則を組み込み、過剰フィットの問題に効果的に対処します。
提案されているLS-GBTSVMは、効率、大きなデータセットのスケーラビリティ、およびノイズや外れ値に対する堅牢性を例示しています。
UCI、Keel、およびNDCデータセットのベンチマークデータセットでGBTSVMおよびLS-GBTSVMモデルの包括的な評価を実施します。
私たちの実験的調査結果と統計分析は、提案されたGBTSVMおよびLS-GBTSVMモデルの優れた一般化能力を確認しています。

要約(オリジナル)

On Efficient and Scalable Computation of the Nonparametric Maximum Likelihood Estimator in Mixture ModelsTwin support vector machine (TSVM) is an emerging machine learning model with versatile applicability in classification and regression endeavors. Nevertheless, TSVM confronts noteworthy challenges: $(i)$ the imperative demand for matrix inversions presents formidable obstacles to its efficiency and applicability on large-scale datasets; $(ii)$ the omission of the structural risk minimization (SRM) principle in its primal formulation heightens the vulnerability to overfitting risks; and $(iii)$ the TSVM exhibits a high susceptibility to noise and outliers, and also demonstrates instability when subjected to resampling. In view of the aforementioned challenges, we propose the granular ball twin support vector machine (GBTSVM). GBTSVM takes granular balls, rather than individual data points, as inputs to construct a classifier. These granular balls, characterized by their coarser granularity, exhibit robustness to resampling and reduced susceptibility to the impact of noise and outliers. We further propose a novel large-scale granular ball twin support vector machine (LS-GBTSVM). LS-GBTSVM’s optimization formulation ensures two critical facets: $(i)$ it eliminates the need for matrix inversions, streamlining the LS-GBTSVM’s computational efficiency, and $(ii)$ it incorporates the SRM principle through the incorporation of regularization terms, effectively addressing the issue of overfitting. The proposed LS-GBTSVM exemplifies efficiency, scalability for large datasets, and robustness against noise and outliers. We conduct a comprehensive evaluation of the GBTSVM and LS-GBTSVM models on benchmark datasets from UCI, KEEL, and NDC datasets. Our experimental findings and statistical analyses affirm the superior generalization prowess of the proposed GBTSVM and LS-GBTSVM models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google