GenEFT: Understanding Statics and Dynamics of Model Generalization via Effective Theory

要約

Geneft：Neural Networkの一般化の静的とダイナミクスに光を放つための効果的な理論フレームワークを提示し、グラフ学習の例で説明します。
最初に、データサイズが増加するにつれて一般化フェーズ遷移を調査し、実験結果と情報理論ベースの近似と比較します。
Decoderが弱すぎたり強すぎたりしないGoldilocksゾーンで一般化を見つけます。
次に、表現学習のダイナミクスの効果的な理論を紹介します。ここでは、潜在的な空間表現が相互作用する粒子（レポン）としてモデル化され、エンコーダーとデコーダーの学習レートがスキャンされるため、一般化と過剰適合との間の実験的に観察された位相遷移を説明します。
これは、理論的予測と機械学習における実践の間のギャップを埋めるための物理学に触発された効果的な理論の力を強調しています。

要約(オリジナル)

We present GenEFT: an effective theory framework for shedding light on the statics and dynamics of neural network generalization, and illustrate it with graph learning examples. We first investigate the generalization phase transition as data size increases, comparing experimental results with information-theory-based approximations. We find generalization in a Goldilocks zone where the decoder is neither too weak nor too powerful. We then introduce an effective theory for the dynamics of representation learning, where latent-space representations are modeled as interacting particles (repons), and find that it explains our experimentally observed phase transition between generalization and overfitting as encoder and decoder learning rates are scanned. This highlights the power of physics-inspired effective theories for bridging the gap between theoretical predictions and practice in machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google