An extended asymmetric sigmoid with Perceptron (SIGTRON) for imbalanced linear classification

要約

この記事では、パーセプトロンを使用して拡張された非対称シグモイドである SIGTRON と呼ばれる新しい多項式パラメーター化シグモイドと、仮想 SIGTRON 誘起凸型損失関数を使用する SIGTRON 不均衡分類 (SIC) モデルと呼ばれるその対凸型モデルを紹介します。
従来の $\pi$ 重み付きコスト依存学習モデルとは対照的に、SIC モデルは損失関数に外部 $\pi$ 重みを持たず、仮想 SIGTRON 誘発損失関数に内部パラメーターを持ちます。
結果として、与えられたトレーニング データセットがバランスの取れた条件に近い場合、提案された SIC モデルは、トレーニングとトレーニングの間のスケールクラス不均衡比の不一致など、データセットの変動により適応できることを示します。
テストデータセット。
この適応は、歪んだ超平面方程式を作成することによって実現されます。
さらに、区間ベースの二等分線探索を開発することにより、仮想凸損失に対する準ニュートン最適化(L-BFGS)フレームワークを提案します。
経験的に、提案されたアプローチは、$51$ の 2 クラスと $67$ のマルチクラスで、テスト分類精度の点で $\pi$ 重み付き凸焦点損失と平衡型分類器 LIBLINEAR(ロジスティック回帰、SVM、および L2SVM) よりも優れていることが観察されました。
データセット。
トレーニング データセットのスケール-クラス-不均衡比は重要ではないが、不一致が存在するバイナリ分類問題では、各データセット (TOP$1$) で最高のテスト精度を持つ SIC モデルのグループが LIBSVM(C-SVC
RBF kernel)、よく知られたカーネルベースの分類器です。

要約(オリジナル)

This article presents a new polynomial parameterized sigmoid called SIGTRON, which is an extended asymmetric sigmoid with Perceptron, and its companion convex model called SIGTRON-imbalanced classification (SIC) model that employs a virtual SIGTRON-induced convex loss function. In contrast to the conventional $\pi$-weighted cost-sensitive learning model, the SIC model does not have an external $\pi$-weight on the loss function but has internal parameters in the virtual SIGTRON-induced loss function. As a consequence, when the given training dataset is close to the well-balanced condition, we show that the proposed SIC model is more adaptive to variations of the dataset, such as the inconsistency of the scale-class-imbalance ratio between the training and test datasets. This adaptation is achieved by creating a skewed hyperplane equation. Additionally, we present a quasi-Newton optimization(L-BFGS) framework for the virtual convex loss by developing an interval-based bisection line search. Empirically, we have observed that the proposed approach outperforms $\pi$-weighted convex focal loss and balanced classifier LIBLINEAR(logistic regression, SVM, and L2SVM) in terms of test classification accuracy with $51$ two-class and $67$ multi-class datasets. In binary classification problems, where the scale-class-imbalance ratio of the training dataset is not significant but the inconsistency exists, a group of SIC models with the best test accuracy for each dataset (TOP$1$) outperforms LIBSVM(C-SVC with RBF kernel), a well-known kernel-based classifier.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google