GenEFT: Understanding Statics and Dynamics of Model Generalization via Effective Theory

要約

ニューラル ネットワークの一般化の静力学と動力学に光を当てるための効果的な理論フレームワークである GenEFT を紹介し、グラフ学習の例で説明します。
まず、実験結果を情報理論に基づいた近似と比較しながら、データサイズの増加に伴う一般化相転移を調査します。
デコーダが弱すぎず強すぎないゴルディロックス ゾーンで一般化が見られます。
次に、潜在空間表現が相互作用する粒子 (応答) としてモデル化される、表現学習のダイナミクスに効果的な理論を導入します。そして、それが、エンコーダーとデコーダーの学習率がスキャンされる際に実験的に観察された一般化と過剰適合の間の相転移を説明していることがわかります。
これは、機械学習における理論的予測と実践の間のギャップを埋めるための、物理学にヒントを得た効果的な理論の力を強調しています。

要約(オリジナル)

We present GenEFT: an effective theory framework for shedding light on the statics and dynamics of neural network generalization, and illustrate it with graph learning examples. We first investigate the generalization phase transition as data size increases, comparing experimental results with information-theory-based approximations. We find generalization in a Goldilocks zone where the decoder is neither too weak nor too powerful. We then introduce an effective theory for the dynamics of representation learning, where latent-space representations are modeled as interacting particles (repons), and find that it explains our experimentally observed phase transition between generalization and overfitting as encoder and decoder learning rates are scanned. This highlights the power of physics-inspired effective theories for bridging the gap between theoretical predictions and practice in machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google