Multiple Descents in Deep Learning as a Sequence of Order-Chaos Transitions

要約

LSTMのトレーニングプロセス中に、テスト損失がモデルの過剰訓練後に複数回上下トレンドの長いサイクルを通過する間に、新しい「多発性」現象を観察します。
モデルの漸近安定性分析を実行することにより、テスト損失のサイクルは、順序とカオスの間の位相遷移プロセスと密接に関連していることがわかりました。局所的な最適なエポックは、2つのフェーズ間の重要な遷移点に一貫していることがわかりました。
さらに重要なことは、グローバルな最適なエポックは、秩序からカオスへの最初の遷移で発生します。ここでは、「カオスのエッジ」の「幅」が最も広く、学習のためのより良い体重構成の最良の探求を可能にします。

要約(オリジナル)

We observe a novel ‘multiple-descent’ phenomenon during the training process of LSTM, in which the test loss goes through long cycles of up and down trend multiple times after the model is overtrained. By carrying out asymptotic stability analysis of the models, we found that the cycles in test loss are closely associated with the phase transition process between order and chaos, and the local optimal epochs are consistently at the critical transition point between the two phases. More importantly, the global optimal epoch occurs at the first transition from order to chaos, where the ‘width’ of the ‘edge of chaos’ is the widest, allowing the best exploration of better weight configurations for learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google