A Novel Sparse Regularizer

要約

タイトル：新しいスパース正則化手法の提案
要約：
– $ L_ {0} $、$ L_ {1} $、$ L_ {2} $ノルム正則化や、ウェイトディケイおよびグループLASSOなどの$ L_ {p} $ノルムに基づく正則化技術は、それぞれ単独で考慮されるモデルウェイトに依存する量を計算します。
– この論文では、$ L_ {p} $ノルムに基づく正則化とは対照的に、ウェイト行列内の重みの空間的な配置に関心を持った新しい正則化手法を記述しています。
– この正則化は、損失関数の加算項であり、微分可能で、簡単で高速に計算でき、スケール不変で、わずかな追加メモリーだけ必要で、簡単に並列化できます。
– 実証実験により、この方法は、同じ精度レベルでの非常に少数のモデルパラメーターについて、約1桁の改善をもたらします。

要約(オリジナル)

$L_{p}$-norm regularization schemes such as $L_{0}$, $L_{1}$, and $L_{2}$-norm regularization and $L_{p}$-norm-based regularization techniques such as weight decay and group LASSO compute a quantity which depends on model weights considered in isolation from one another. This paper describes a novel regularizer which is not based on an $L_{p}$-norm. In contrast with $L_{p}$-norm-based regularization, this regularizer is concerned with the spatial arrangement of weights within a weight matrix. This regularizer is an additive term for the loss function and is differentiable, simple and fast to compute, scale-invariant, requires a trivial amount of additional memory, and can easily be parallelized. Empirically this method yields approximately a one order-of-magnitude improvement in the number of nonzero model parameters at a given level of accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI