Fokker-Planck to Callan-Symanzik: evolution of weight matrices under training

要約

トレーニング中のニューラル ネットワークの動的進化は、非常に興味深い研究対象です。
統計物理システムにおける変数の一般進化の第一主導関数は、トレーニング ダイナミクスを概念的に説明するために使用すると有用であることが証明されており、実際にはフォッカー プランク方程式などの方程式を数値的に解くことを意味します。
ネットワーク全体をシミュレートすると、必然的に次元の呪いに遭遇します。
この論文では、フォッカー・プランクを利用して、単純な 2 ボトルネック層自動エンコーダーのボトルネック層における個々の重み行列の確率密度の進化をシミュレートし、出力データの分布を調べることによって理論的な進化を経験的な進化と比較します。
また、我々が持つ力学方程式から、Callan-Symanzik 方程式や Kardar-Parisi-Zhang 方程式など、物理的に関連する偏微分方程式を導き出します。

要約(オリジナル)

The dynamical evolution of a neural network during training has been an incredibly fascinating subject of study. First principal derivation of generic evolution of variables in statistical physics systems has proved useful when used to describe training dynamics conceptually, which in practice means numerically solving equations such as Fokker-Planck equation. Simulating entire networks inevitably runs into the curse of dimensionality. In this paper, we utilize Fokker-Planck to simulate the probability density evolution of individual weight matrices in the bottleneck layers of a simple 2-bottleneck-layered auto-encoder and compare the theoretical evolutions against the empirical ones by examining the output data distributions. We also derive physically relevant partial differential equations such as Callan-Symanzik and Kardar-Parisi-Zhang equations from the dynamical equation we have.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google