Predicting Grokking Long Before it Happens: A look into the loss landscape of models which grok

要約

この論文は、ニューラル ネットワークにおけるグロッキングの発生を予測することに焦点を当てています。グロッキングとは、過学習や記憶の兆候が観察された後、長期間にわたって完全な一般化が現れる現象です。
グロッキングは特定のハイパーパラメータでのみ観察されることが報告されています。
このため、グロッキングにつながるパラメータを特定することが重要になります。
ただし、グロッキングは多数のエポックの後に発生するため、グロッキングにつながるハイパーパラメーターの検索には時間がかかります。
この論文では、多数のエポックに対するトレーニングを行わずにグロッキングを予測する低コストの方法を提案します。
基本的に、最初の数エポックの学習曲線を研究することで、後でグロッキングが発生するかどうかを予測できることがわかります。
具体的には、初期のエポックで特定の振動が発生した場合、モデルがより長期間トレーニングされるとグロッキングが発生することが予想されます。
フーリエ変換を適用して導出された学習曲線のスペクトル シグネチャを使用して、低周波成分の振幅を定量化し、そのような振動の存在を検出することを提案します。
また、これらの振動の原因を説明し、損失状況の特徴を明らかにすることを目的とした追加の実験も紹介します。

要約(オリジナル)

This paper focuses on predicting the occurrence of grokking in neural networks, a phenomenon in which perfect generalization emerges long after signs of overfitting or memorization are observed. It has been reported that grokking can only be observed with certain hyper-parameters. This makes it critical to identify the parameters that lead to grokking. However, since grokking occurs after a large number of epochs, searching for the hyper-parameters that lead to it is time-consuming. In this paper, we propose a low-cost method to predict grokking without training for a large number of epochs. In essence, by studying the learning curve of the first few epochs, we show that one can predict whether grokking will occur later on. Specifically, if certain oscillations occur in the early epochs, one can expect grokking to occur if the model is trained for a much longer period of time. We propose using the spectral signature of a learning curve derived by applying the Fourier transform to quantify the amplitude of low-frequency components to detect the presence of such oscillations. We also present additional experiments aimed at explaining the cause of these oscillations and characterizing the loss landscape.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google