Multi-class Support Vector Machine with Maximizing Minimum Margin

要約

サポート ベクター マシン (SVM) は、実際のパターン認識タスクに広く適用される優れた機械学習技術として際立っています。
インスタンスと決定境界の間の最小距離を表す「マージン」を最大化することにより、バイナリ分類を実現します。
1 対 1、1 対残りなどの戦略を通じてマルチクラスのケース向けに SVM を拡張するために多くの努力が払われてきましたが、満足のいくソリューションはまだ開発されていません。
この論文では、ペアごとのクラス損失の考慮事項を組み込んで最小マージンを最大化する、マルチクラス SVM のための新しい方法を提案します。
この概念に従って、マルチクラス SVM に高い柔軟性を与える新しい定式化を採用しています。
さらに、提案された方法と複数の形式のマルチクラス SVM との相関が分析されます。
提案された正則化は、「マージン」の概念に似ており、深層学習におけるソフトマックスを超えるシームレスな拡張機能として機能し、ネットワーク パラメーター学習のガイダンスを提供します。
経験的評価により、既存の多分類手法に対する私たちの提案手法の有効性と優位性が実証されています。コードは https://github.com/zz-haooo/M3SVM で入手できます。

要約(オリジナル)

Support Vector Machine (SVM) stands out as a prominent machine learning technique widely applied in practical pattern recognition tasks. It achieves binary classification by maximizing the ‘margin’, which represents the minimum distance between instances and the decision boundary. Although many efforts have been dedicated to expanding SVM for multi-class case through strategies such as one versus one and one versus the rest, satisfactory solutions remain to be developed. In this paper, we propose a novel method for multi-class SVM that incorporates pairwise class loss considerations and maximizes the minimum margin. Adhering to this concept, we embrace a new formulation that imparts heightened flexibility to multi-class SVM. Furthermore, the correlations between the proposed method and multiple forms of multi-class SVM are analyzed. The proposed regularizer, akin to the concept of ‘margin’, can serve as a seamless enhancement over the softmax in deep learning, providing guidance for network parameter learning. Empirical evaluations demonstrate the effectiveness and superiority of our proposed method over existing multi-classification methods.Code is available at https://github.com/zz-haooo/M3SVM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google