Multinomial Logistic Regression Algorithms via Quadratic Gradient

要約

多項ロジスティック回帰は、多クラス ロジスティック回帰やソフトマックス回帰などの別名でも知られていますが、バイナリ ロジスティック回帰を多クラス問題に一般化する基本的な分類方法です。
最近の研究では、バイナリ ロジスティック回帰トレーニングを高速化できる $\texttt{quadratic gradient}$ と呼ばれるより高速な勾配が提案され、バイナリ ロジスティック回帰用の強化された Nesterov の加速勾配 (NAG) メソッドが提示されました。
この論文では、この作業をマルチクラス ロジスティック回帰に拡張し、元の Adagrad メソッドを高速化できる強化された適応勾配アルゴリズム (Adagrad) を提案します。
強化された NAG メソッドと強化された Adagrad メソッドを、いくつかのマルチクラス問題データセットでテストします。
実験結果は、両方の強化された方法がそれぞれ元の方法よりも速く収束することを示しています。

要約(オリジナル)

Multinomial logistic regression, also known by other names such as multiclass logistic regression and softmax regression, is a fundamental classification method that generalizes binary logistic regression to multiclass problems. A recently work proposed a faster gradient called $\texttt{quadratic gradient}$ that can accelerate the binary logistic regression training, and presented an enhanced Nesterov’s accelerated gradient (NAG) method for binary logistic regression. In this paper, we extend this work to multiclass logistic regression and propose an enhanced Adaptive Gradient Algorithm (Adagrad) that can accelerate the original Adagrad method. We test the enhanced NAG method and the enhanced Adagrad method on some multiclass-problem datasets. Experimental results show that both enhanced methods converge faster than their original ones respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google