From Empirical Observations to Universality: Dynamics of Deep Learning with Inputs Built on Gaussian mixture

要約

この研究は、混合ガウス (GM) への構造的特性を示す入力を使用してニューラル ネットワークのダイナミクスを深く掘り下げることで、ディープ ラーニングの理論的枠組みの範囲を広げます。
私たちは、GM 構造の入力の下でニューラル ネットワークのダイナミクスが、単純なガウス構造に基づく従来の理論の予測からどのように乖離するかを分析しました。
私たちの研究の啓示は、標準化された GM 入力を使用した場合でも、ニューラル ネットワーク ダイナミクスが従来の理論に収束することが観察され、予期せぬ普遍性を強調していることです。
私たちは、標準化が、特に特定の非線形関数と関連して、この現象において重要な役割を果たしていることがわかりました。
その結果、GM 分布の複雑で多様な性質にもかかわらず、ニューラル ネットワークが単純なガウス フレームワークの下での予測に沿った漸近的な動作を示すことを実証します。

要約(オリジナル)

This study broadens the scope of theoretical frameworks in deep learning by delving into the dynamics of neural networks with inputs that demonstrate the structural characteristics to Gaussian Mixture (GM). We analyzed how the dynamics of neural networks under GM-structured inputs diverge from the predictions of conventional theories based on simple Gaussian structures. A revelation of our work is the observed convergence of neural network dynamics towards conventional theory even with standardized GM inputs, highlighting an unexpected universality. We found that standardization, especially in conjunction with certain nonlinear functions, plays a critical role in this phenomena. Consequently, despite the complex and varied nature of GM distributions, we demonstrate that neural networks exhibit asymptotic behaviors in line with predictions under simple Gaussian frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google