Smooth Ranking SVM via Cutting-Plane Method

要約

最も一般的な分類アルゴリズムは、トレーニング中の分類精度を最大化するように設計されています。
ただし、この戦略は、多数派のクラスにオーバーフィットすることで高精度でモデルをトレーニングできるため、クラスの不均衡が存在すると失敗する可能性があります。
一方、曲線下面積 (AUC) は、クラスの不均衡がある場合にさまざまなアルゴリズムの分類パフォーマンスを比較するために広く使用されているメトリクスであり、トレーニング中にこのメトリクスを直接最適化することに焦点を当てたさまざまなアプローチが提案されています。
中でも、SVM ベースの定式化は、さまざまな正則化戦略を簡単に組み込むことができるため、特に人気があります。
この研究では、AUC を最大化するために、ランキング SVM と同様の切断面法に依存するプロトタイプの学習アプローチを開発します。
私たちのアルゴリズムは、切断面を繰り返し導入することでより単純なモデルを学習するため、型破りな方法でオーバーフィッティングを防止します。
さらに、テストのパフォーマンスで観察される可能性のある大きなジャンプを回避するために、各反復での重みの変更にペナルティを課すため、スムーズな学習プロセスが促進されます。
73 のバイナリ分類データセットで実施された実験に基づいて、私たちの方法は、関連する競合他社の中で 25 のデータセットで最良のテスト AUC をもたらします。

要約(オリジナル)

The most popular classification algorithms are designed to maximize classification accuracy during training. However, this strategy may fail in the presence of class imbalance since it is possible to train models with high accuracy by overfitting to the majority class. On the other hand, the Area Under the Curve (AUC) is a widely used metric to compare classification performance of different algorithms when there is a class imbalance, and various approaches focusing on the direct optimization of this metric during training have been proposed. Among them, SVM-based formulations are especially popular as this formulation allows incorporating different regularization strategies easily. In this work, we develop a prototype learning approach that relies on cutting-plane method, similar to Ranking SVM, to maximize AUC. Our algorithm learns simpler models by iteratively introducing cutting planes, thus overfitting is prevented in an unconventional way. Furthermore, it penalizes the changes in the weights at each iteration to avoid large jumps that might be observed in the test performance, thus facilitating a smooth learning process. Based on the experiments conducted on 73 binary classification datasets, our method yields the best test AUC in 25 datasets among its relevant competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google