MaxMin-L2-SVC-NCH: A Novel Approach for Support Vector Classifier Training and Parameter Selection

要約

ガウス カーネル パラメーターの選択は、サポート ベクター分類 (SVC) のアプリケーションにおいて重要な役割を果たします。
一般的に使用される方法は、グリッド検索 (CV) を使用した k 分割交差検証です。これは、多数の SVC モデルをトレーニングする必要があるため、非常に時間がかかります。
この論文では、SVC をトレーニングし、ガウス カーネル パラメーターの選択を最適化するための新しいアプローチを提案します。
まず、SVC のトレーニングとパラメーター選択を、MaxMin-L2-SVC-NCH という名前のミニマックス最適化問題として定式化します。ここで、最小化問題は、2 つの通常の凸包 (L2-SVC-NCH) 間の最近接点を見つける最適化問題です。
) 一方、最大化問題は、最適なガウス カーネル パラメーターを見つける最適化問題です。
MaxMin-L2-SVC-NCH では CV が必要ないため、時間の複雑さの軽減が期待できます。
次に、L2-SVC-NCH をトレーニングするための投影勾配アルゴリズム (PGA) を提案します。
有名な逐次最小最適化 (SMO) アルゴリズムは、PGA の特殊なケースです。
したがって、PGA は SMO よりも高い柔軟性を提供できます。
さらに、最大化問題の解決は、動的学習率を備えた勾配上昇アルゴリズムによって実行されます。
MaxMin-L2-SVC-NCH と公開データセットでの以前の最良のアプローチとの比較実験では、MaxMin-L2-SVC-NCH が競合するテスト精度を維持しながら、トレーニングするモデルの数を大幅に削減できることがわかりました。
これらの結果は、MaxMin-L2-SVC-NCH が SVC タスクにとってより良い選択肢であることを示しています。

要約(オリジナル)

The selection of Gaussian kernel parameters plays an important role in the applications of support vector classification (SVC). A commonly used method is the k-fold cross validation with grid search (CV), which is extremely time-consuming because it needs to train a large number of SVC models. In this paper, a new approach is proposed to train SVC and optimize the selection of Gaussian kernel parameters. We first formulate the training and parameter selection of SVC as a minimax optimization problem named as MaxMin-L2-SVC-NCH, in which the minimization problem is an optimization problem of finding the closest points between two normal convex hulls (L2-SVC-NCH) while the maximization problem is an optimization problem of finding the optimal Gaussian kernel parameters. A lower time complexity can be expected in MaxMin-L2-SVC-NCH because CV is not needed. We then propose a projected gradient algorithm (PGA) for training L2-SVC-NCH. The famous sequential minimal optimization (SMO) algorithm is a special case of the PGA. Thus, the PGA can provide more flexibility than the SMO. Furthermore, the solution of the maximization problem is done by a gradient ascent algorithm with dynamic learning rate. The comparative experiments between MaxMin-L2-SVC-NCH and the previous best approaches on public datasets show that MaxMin-L2-SVC-NCH greatly reduces the number of models to be trained while maintaining competitive test accuracy. These findings indicate that MaxMin-L2-SVC-NCH is a better choice for SVC tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google