Position: Solve Layerwise Linear Models First to Understand Neural Dynamical Phenomena (Neural Collapse, Emergence, Lazy/Rich Regime, and Grokking)

要約

物理学では、複雑なシステムは、コア原理のみを保持する最小限の溶媒産モデルに簡素化されることがよくあります。
機械学習では、レイヤーワイズ線形モデル（例えば、線形ニューラルネットワーク）は、ニューラルネットワークダイナミクスの単純化された表現として機能します。
これらのモデルは、動的フィードバックの原則に従います。これは、レイヤーが互いの進化を相互に支配および増幅する方法を説明しています。
この原則は、単純化されたモデルを超えて拡張され、神経崩壊、出現、怠zyで豊かな体制、グローキングなど、深い神経ネットワークにおける幅広い動的現象の説明に成功します。
このポジションペーパーでは、深い学習の科学を加速するために、神経動的現象の核となる原則を保持する層状線形モデルの使用を求めています。

要約(オリジナル)

In physics, complex systems are often simplified into minimal, solvable models that retain only the core principles. In machine learning, layerwise linear models (e.g., linear neural networks) act as simplified representations of neural network dynamics. These models follow the dynamical feedback principle, which describes how layers mutually govern and amplify each other’s evolution. This principle extends beyond the simplified models, successfully explaining a wide range of dynamical phenomena in deep neural networks, including neural collapse, emergence, lazy and rich regimes, and grokking. In this position paper, we call for the use of layerwise linear models retaining the core principles of neural dynamical phenomena to accelerate the science of deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google