An effective theory of collective deep learning

要約

結合された人工ニューラル ネットワークのシステムにおける集団学習の出現を解明すると、機械学習、神経科学、社会へのより広範な影響が示唆されます。
ここでは、各ニューラル ネットワーク ユニットのパラメーターにおける局所学習ダイナミクスと、アンサンブルのパラメーターを均質化する傾向にあるユニット間の拡散結合という 2 つの項間の競合を考慮することにより、いくつかの最近の分散アルゴリズムを凝縮した最小モデルを紹介します。
私たちは、システムの粗粒挙動が、クエンチされた無秩序を伴う変形したギンツブルグ-ランダウ モデルと同等であることを示す、線形ネットワークに対する効果的な理論を導き出します。
このフレームワークは、パラメーターの解における深さ依存の無秩序-秩序-無秩序相転移を予測し、深さによって遅れて始まる集団学習フェーズと低ランクの微視的学習パスを明らかにします。
プライバシー制約の下で MNIST データセットでトレーニングされた現実的なニューラル ネットワークの結合アンサンブルで理論を検証します。
興味深いことに、プライベートデータで訓練された個々のネットワークは、集団学習フェーズが出現したときに、目に見えないデータクラスに完全に一般化できることが実験によって確認されています。
私たちの研究は、集団学習の物理学を確立し、分散環境における深層学習の機構的な解釈可能性に貢献します。

要約(オリジナル)

Unraveling the emergence of collective learning in systems of coupled artificial neural networks points to broader implications for machine learning, neuroscience, and society. Here we introduce a minimal model that condenses several recent decentralized algorithms by considering a competition between two terms: the local learning dynamics in the parameters of each neural network unit, and a diffusive coupling among units that tends to homogenize the parameters of the ensemble. We derive an effective theory for linear networks to show that the coarse-grained behavior of our system is equivalent to a deformed Ginzburg-Landau model with quenched disorder. This framework predicts depth-dependent disorder-order-disorder phase transitions in the parameters’ solutions that reveal a depth-delayed onset of a collective learning phase and a low-rank microscopic learning path. We validate the theory in coupled ensembles of realistic neural networks trained on the MNIST dataset under privacy constraints. Interestingly, experiments confirm that individual networks — trained on private data — can fully generalize to unseen data classes when the collective learning phase emerges. Our work establishes the physics of collective learning and contributes to the mechanistic interpretability of deep learning in decentralized settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google