Weight Compander: A Simple Weight Reparameterization for Regularization

要約

正則化は、ディープ ニューラル ネットワークの汎化能力を向上させるために使用される一連の手法です。
この論文では、非線形関数を使用してディープ ニューラル ネットワークの各重みを再パラメータ化することで一般化を改善する新しい効果的な方法である重みコンパンダ (WC) を紹介します。
これは、一般的で直感的、低コストで実装が簡単な方法であり、他のさまざまな正則化手法と組み合わせることができます。
ディープ ニューラル ネットワークの重みが大きい場合は、トレーニング データに過剰適合している、より複雑なネットワークの兆候です。
さらに、正規化されたネットワークは、ゼロ付近の重みの範囲が広くなり、ゼロを中心とする重みが少なくなる傾向があります。
各重みに適用される重み再パラメータ化関数を導入し、重みの大きさを制限すると同時に重みをゼロから強制的に遠ざけることで過学習を暗黙的に削減します。
これにより、ネットワーク内でのより民主的な意思決定が可能になります。
まず、個々の重みはその大きさに制限があるため、予測プロセスにあまり大きな影響を与えることができません。
第 2 に、トレーニング中に強制的にゼロから離れるため、予測プロセスではより多くの重みが使用されます。
これにより、入力データからのより多くの特徴の抽出が促進され、重みの冗長性のレベルが高まり、トレーニング データとテスト データの間の統計的な違いに対するネットワークの感度が低くなります。
導入された重み再パラメータ化関数のハイパーパラメータを学習するためにメソッドを拡張します。
これにより、ハイパーパラメータ検索が回避され、ネットワークに重みの再パラメータ化をトレーニングの進行状況に合わせて調整する機会が与えられます。
標準的な正則化手法に加えて重みコンパンダを使用すると、ニューラル ネットワークのパフォーマンスが向上することが実験的に示されています。

要約(オリジナル)

Regularization is a set of techniques that are used to improve the generalization ability of deep neural networks. In this paper, we introduce weight compander (WC), a novel effective method to improve generalization by reparameterizing each weight in deep neural networks using a nonlinear function. It is a general, intuitive, cheap and easy to implement method, which can be combined with various other regularization techniques. Large weights in deep neural networks are a sign of a more complex network that is overfitted to the training data. Moreover, regularized networks tend to have a greater range of weights around zero with fewer weights centered at zero. We introduce a weight reparameterization function which is applied to each weight and implicitly reduces overfitting by restricting the magnitude of the weights while forcing them away from zero at the same time. This leads to a more democratic decision-making in the network. Firstly, individual weights cannot have too much influence in the prediction process due to the restriction of their magnitude. Secondly, more weights are used in the prediction process, since they are forced away from zero during the training. This promotes the extraction of more features from the input data and increases the level of weight redundancy, which makes the network less sensitive to statistical differences between training and test data. We extend our method to learn the hyperparameters of the introduced weight reparameterization function. This avoids hyperparameter search and gives the network the opportunity to align the weight reparameterization with the training progress. We show experimentally that using weight compander in addition to standard regularization methods improves the performance of neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google