Anticorrelated Noise Injection for Improved Generalization

要約

人工ノイズを勾配降下法 (GD) に注入することは、機械学習モデルのパフォーマンスを向上させるために一般的に使用されます。
通常、このような摂動勾配降下法 (PGD) 法では、無相関ノイズが使用されます。
ただし、これが最適であるかどうか、または他のタイプのノイズがより優れた汎化パフォーマンスを提供できるかどうかは不明です。
この論文では、連続する PGD ステップの摂動を相関させる問題に焦点を当てます。
さまざまな目的関数を検討し、反相関摂動を伴う GD (「反 PGD」) が GD および標準 (無相関) PGD よりも大幅に一般化できることがわかりました。
これらの実験結果を裏付けるために、我々は、反 PGD がより広い最小値に移動する一方、GD と PGD が最適以下の領域に留まったままであるか、あるいは発散することさえあることを実証する理論分析も導き出しました。
逆相関ノイズと一般化の間のこの新しい関係により、機械学習モデルのトレーニングにノイズを活用する新しい方法の分野が開かれます。

要約(オリジナル)

Injecting artificial noise into gradient descent (GD) is commonly employed to improve the performance of machine learning models. Usually, uncorrelated noise is used in such perturbed gradient descent (PGD) methods. It is, however, not known if this is optimal or whether other types of noise could provide better generalization performance. In this paper, we zoom in on the problem of correlating the perturbations of consecutive PGD steps. We consider a variety of objective functions for which we find that GD with anticorrelated perturbations (‘Anti-PGD’) generalizes significantly better than GD and standard (uncorrelated) PGD. To support these experimental findings, we also derive a theoretical analysis that demonstrates that Anti-PGD moves to wider minima, while GD and PGD remain stuck in suboptimal regions or even diverge. This new connection between anticorrelated noise and generalization opens the field to novel ways to exploit noise for training machine learning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google