A Novel Loss Function-based Support Vector Machine for Binary Classification

要約

$0/1$ 損失 SVM、ヒンジ損失 SVM、ランプ損失 SVM、切り捨てピンボール損失 SVM などを含む以前のサポート ベクター マシン (SVM) は、マージン内で正しく分類されたサンプルに対するペナルティの程度を見落としていました。
この見落としは、SVM 分類器の汎化能力にある程度影響を与えます。
この制限に対処するために、信頼余裕の観点から、サポート ベクター マシン分類器 ($\ell_s$-SVM) を構築するための新しいスライド損失関数 ($\ell_s$) を提案します。
近位静止点の概念を導入し、リプシッツ連続性の性質を利用することにより、$\ell_s$-SVM の一次最適条件を導出します。
これに基づいて、$\ell_s$ サポート ベクターと $\ell_s$-SVM のワーキング セットを定義します。
$\ell_s$-SVM を効率的に処理するために、ワーキング セット ($\ell_s$-ADMM) を使用して乗算器の高速交互方向方法を考案し、収束解析を提供します。
実世界のデータセットに対する数値実験により、提案された方法の堅牢性と有効性が確認されています。

要約(オリジナル)

The previous support vector machine(SVM) including $0/1$ loss SVM, hinge loss SVM, ramp loss SVM, truncated pinball loss SVM, and others, overlooked the degree of penalty for the correctly classified samples within the margin. This oversight affects the generalization ability of the SVM classifier to some extent. To address this limitation, from the perspective of confidence margin, we propose a novel Slide loss function ($\ell_s$) to construct the support vector machine classifier($\ell_s$-SVM). By introducing the concept of proximal stationary point, and utilizing the property of Lipschitz continuity, we derive the first-order optimality conditions for $\ell_s$-SVM. Based on this, we define the $\ell_s$ support vectors and working set of $\ell_s$-SVM. To efficiently handle $\ell_s$-SVM, we devise a fast alternating direction method of multipliers with the working set ($\ell_s$-ADMM), and provide the convergence analysis. The numerical experiments on real world datasets confirm the robustness and effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google