MaxMin-L2-SVC-NCH: A New Method to Train Support Vector Classifier with the Selection of Model’s Parameters

要約

モデルのパラメーターの選択は、サポート ベクター分類 (SVC) の適用において重要な役割を果たします。
モデルのパラメーターを選択する一般的に使用される方法は、グリッド検索 (CV) を使用した k 分割相互検証です。
多数の SVC モデルをトレーニングする必要があるため、非常に時間がかかります。
この論文では、モデルのパラメータを選択して SVC をトレーニングする新しい方法を提案します。
まず、モデルのパラメーターを選択してトレーニング SVC をミニマックス最適化問題 (MaxMin-L2-SVC-NCH) としてモデル化します。この最小化問題は、2 つの通常の凸包 (L2-SVC) 間の最も近い点を見つける最適化問題です。
-NCH)、最大化問題は、最適なモデルのパラメーターを見つける最適化問題です。
MaxMin-L2-SVC-NCH では CV が放棄されるため、時間の複雑さの軽減が期待できます。
次に、MaxMin-L2-SVC-NCH を解くための勾配ベースのアルゴリズムが提案されます。L2-SVC-NCH は投影勾配アルゴリズム (PGA) によって解決され、最大化問題は動的学習率を備えた勾配上昇アルゴリズムによって解決されます。
。
L2-SVC-NCH を解く際の PGA の利点を実証するために、L2-SVC-NCH に対する SMO アルゴリズムといくつかの KKT 条件が提供された後、PGA と有名な逐次最小最適化 (SMO) アルゴリズムの比較を実行します。
SMO アルゴリズムは PGA の特殊なケースであることが明らかになりました。
したがって、PGA はより高い柔軟性を提供できます。
MaxMin-L2-SVC-NCH と公開データセットでの古典的なパラメーター選択モデルとの比較実験では、MaxMin-L2-SVC-NCH によってトレーニングされるモデルの数が大幅に削減され、テスト精度が古典的なモデルに負けないことが示されました。
これは、MaxMin-L2-SVC-NCH が他のモデルよりも優れたパフォーマンスを示していることを示しています。
SVC タスクの優先モデルとして MaxMin-L2-SVC-NCH を強くお勧めします。

要約(オリジナル)

The selection of model’s parameters plays an important role in the application of support vector classification (SVC). The commonly used method of selecting model’s parameters is the k-fold cross validation with grid search (CV). It is extremely time-consuming because it needs to train a large number of SVC models. In this paper, a new method is proposed to train SVC with the selection of model’s parameters. Firstly, training SVC with the selection of model’s parameters is modeled as a minimax optimization problem (MaxMin-L2-SVC-NCH), in which the minimization problem is an optimization problem of finding the closest points between two normal convex hulls (L2-SVC-NCH) while the maximization problem is an optimization problem of finding the optimal model’s parameters. A lower time complexity can be expected in MaxMin-L2-SVC-NCH because CV is abandoned. A gradient-based algorithm is then proposed to solve MaxMin-L2-SVC-NCH, in which L2-SVC-NCH is solved by a projected gradient algorithm (PGA) while the maximization problem is solved by a gradient ascent algorithm with dynamic learning rate. To demonstrate the advantages of the PGA in solving L2-SVC-NCH, we carry out a comparison of the PGA and the famous sequential minimal optimization (SMO) algorithm after a SMO algorithm and some KKT conditions for L2-SVC-NCH are provided. It is revealed that the SMO algorithm is a special case of the PGA. Thus, the PGA can provide more flexibility. The comparative experiments between MaxMin-L2-SVC-NCH and the classical parameter selection models on public datasets show that MaxMin-L2-SVC-NCH greatly reduces the number of models to be trained and the test accuracy is not lost to the classical models. It indicates that MaxMin-L2-SVC-NCH performs better than the other models. We strongly recommend MaxMin-L2-SVC-NCH as a preferred model for SVC task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google