On the Cone Effect in the Learning Dynamics

要約

ニューラルネットワークの学習ダイナミクスを理解することは、深い学習コミュニティの中心的なトピックです。
このホワイトペーパーでは、実証的な視点を取り、現実世界の設定でのニューラルネットワークの学習ダイナミクスを研究します。
具体的には、トレーニング中に経験的神経接線カーネル（ENTK）の進化プロセスを調査します。
私たちの重要な調査結果は、2相学習プロセスを明らかにしています。i）フェーズIでは、ENTKは大幅に進化し、豊富なレジームをシグナル化し、II）フェーズIIでは、ENTKは進化し続けますが、狭い空間、コーン効果と呼ばれる現象に制約されています。
この2相フレームワークは、フォートらによって提案された仮説に基づいています。
（2020）、しかし、フェーズIIのコーン効果を独自に特定し、完全に線形化されたトレーニングよりも大きなパフォーマンスの利点を示しています。

要約(オリジナル)

Understanding the learning dynamics of neural networks is a central topic in the deep learning community. In this paper, we take an empirical perspective to study the learning dynamics of neural networks in real-world settings. Specifically, we investigate the evolution process of the empirical Neural Tangent Kernel (eNTK) during training. Our key findings reveal a two-phase learning process: i) in Phase I, the eNTK evolves significantly, signaling the rich regime, and ii) in Phase II, the eNTK keeps evolving but is constrained in a narrow space, a phenomenon we term the cone effect. This two-phase framework builds on the hypothesis proposed by Fort et al. (2020), but we uniquely identify the cone effect in Phase II, demonstrating its significant performance advantages over fully linearized training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google