Dataset-learning duality and emergent criticality

要約

人工ニューラル ネットワークでは、トレーニング不可能な変数の活性化ダイナミクスは、トレーニング可能な変数の学習ダイナミクスと強く結びついています。
活性化パス中、境界ニューロン (例: 入力ニューロン) はバルク ニューロン (例: 隠れニューロン) にマッピングされ、学習パス中、バルク ニューロンと境界ニューロンの両方がトレーニング可能な変数 (例: 重みやニューロン) の変化にマッピングされます。
偏見）。
たとえば、フィードフォワード ニューラル ネットワークでは、順方向伝播が活性化パスであり、逆方向伝播が学習パスです。
2 つのマップの合成により、訓練不可能な境界変数 (データセットなど) の部分空間と訓練可能な変数 (学習) の接線部分空間の間に双対性マップが確立されることを示します。
一般に、データセットと学習の双対性は、高次元空間間の複雑な非線形マップですが、学習平衡では、問題は線形化され、多くの弱結合 1 次元問題に還元されます。
私たちはこの双対性を利用して、臨界性の出現、つまり訓練可能な変数の変動のべき乗則分布を研究します。
特に、非臨界状態のデータセットからも学習システム内で臨界性が現れる可能性があり、活性化関数または損失関数のいずれかを変更することでべき乗則分布を変更できることを示します。

要約(オリジナル)

In artificial neural networks, the activation dynamics of non-trainable variables is strongly coupled to the learning dynamics of trainable variables. During the activation pass, the boundary neurons (e.g., input neurons) are mapped to the bulk neurons (e.g., hidden neurons), and during the learning pass, both bulk and boundary neurons are mapped to changes in trainable variables (e.g., weights and biases). For example, in feed-forward neural networks, forward propagation is the activation pass and backward propagation is the learning pass. We show that a composition of the two maps establishes a duality map between a subspace of non-trainable boundary variables (e.g., dataset) and a tangent subspace of trainable variables (i.e., learning). In general, the dataset-learning duality is a complex non-linear map between high-dimensional spaces, but in a learning equilibrium, the problem can be linearized and reduced to many weakly coupled one-dimensional problems. We use the duality to study the emergence of criticality, or the power-law distributions of fluctuations of the trainable variables. In particular, we show that criticality can emerge in the learning system even from the dataset in a non-critical state, and that the power-law distribution can be modified by changing either the activation function or the loss function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google