Robust Implicit Regularization via Weight Normalization

要約

過剰パラメータ化されたモデルには多くの補間ソリューションが含まれる場合があります。
暗黙的な正則化とは、多くの最適化メソッドの中から特定の補間ソリューションに対する特定の最適化メソッドの隠れた優先順位を指します。
これまでに確立された一連の研究では、(確率的) 勾配降下法は、深層線形ネットワークのトレーニングに使用される場合、低ランクおよび/またはスパースの解に対して暗黙的なバイアスを持つ傾向があることが示されており、勾配降下法でトレーニングされた過パラメータ化されたニューラル ネットワーク モデルがなぜ使用されるのかをある程度説明しています。
実際には優れた汎化パフォーマンスを発揮する傾向があります。
ただし、二乗損失目的の既存の理論では、トレーニング可能な重みの非常に小さな初期化が必要になることが多く、これは、より高速な収束とより優れた汎化パフォーマンスを実現するために、実際に重みを初期化するより大きなスケールとは相容れません。
この論文では、重みベクトルが極座標に関して再パラメータ化され、勾配降下法が極座標に適用される重み正規化を伴う勾配降下法を組み込んで分析することによって、このギャップを埋めることを目指しています。
勾配流の主要な不変量を分析し、ロヤシェヴィッツの定理を使用することにより、重み正規化には対角線形モデルの疎な解に対する暗黙的なバイアスもありますが、単純な勾配降下法とは対照的に、重み正規化により、たとえ
重みが実質的に大規模なスケールで初期化される場合。
実験では、過剰パラメータ化された対角線形ネットワーク モデルで重み正規化を使用することにより、収束速度と暗黙的バイアスの堅牢性の両方のゲインが劇的に改善されることが示唆されています。

要約(オリジナル)

Overparameterized models may have many interpolating solutions; implicit regularization refers to the hidden preference of a particular optimization method towards a certain interpolating solution among the many. A by now established line of work has shown that (stochastic) gradient descent tends to have an implicit bias towards low rank and/or sparse solutions when used to train deep linear networks, explaining to some extent why overparameterized neural network models trained by gradient descent tend to have good generalization performance in practice. However, existing theory for square-loss objectives often requires very small initialization of the trainable weights, which is at odds with the larger scale at which weights are initialized in practice for faster convergence and better generalization performance. In this paper, we aim to close this gap by incorporating and analyzing gradient descent with weight normalization, where the weight vector is reparamterized in terms of polar coordinates, and gradient descent is applied to the polar coordinates. By analyzing key invariants of the gradient flow and using Lojasiewicz’s Theorem, we show that weight normalization also has an implicit bias towards sparse solutions in the diagonal linear model, but that in contrast to plain gradient descent, weight normalization enables a robust bias that persists even if the weights are initialized at practically large scale. Experiments suggest that the gains in both convergence speed and robustness of the implicit bias are improved dramatically by using weight normalization in overparameterized diagonal linear network models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google