Majorization-Minimization for sparse SVMs

要約

数十年前、教師ありフレームワークの下でバイナリ分類タスクを実行するためにサポート ベクター マシン (SVM) が導入されました。
現在では、他の教師あり手法よりも優れたパフォーマンスを発揮することが多く、依然として機械学習分野で最も人気のあるアプローチの 1 つです。
この研究では、スムーズなスパース促進正則化二乗ヒンジ損失の最小化による SVM のトレーニングを調査します。
この選択により、損失関数のリプシッツ微分可能性の恩恵を受け、多数化最小化アプローチに基づいて構築された迅速なトレーニング方法の適用への道が開かれます。
さらに、提案されたアプローチにより、最も重要な機能の選択を促進するスパース性を保持する正則化を処理できるため、パフォーマンスが向上します。
3 つの異なるデータセットに対して実行された数値テストと比較は、定性的指標 (精度、精度、再現率、F 1 スコア) および計算コストの観点から、提案された方法論の優れたパフォーマンスを示しています。

要約(オリジナル)

Several decades ago, Support Vector Machines (SVMs) were introduced for performing binary classification tasks, under a supervised framework. Nowadays, they often outperform other supervised methods and remain one of the most popular approaches in the machine learning arena. In this work, we investigate the training of SVMs through a smooth sparse-promoting-regularized squared hinge loss minimization. This choice paves the way to the application of quick training methods built on majorization-minimization approaches, benefiting from the Lipschitz differentiabililty of the loss function. Moreover, the proposed approach allows us to handle sparsity-preserving regularizers promoting the selection of the most significant features, so enhancing the performance. Numerical tests and comparisons conducted on three different datasets demonstrate the good performance of the proposed methodology in terms of qualitative metrics (accuracy, precision, recall, and F 1 score) as well as computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google