The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity

要約

重度の過剰適合を予測する古典的な統計理論にもかかわらず、最新の大規模な過剰パラメーター化されたニューラルネットワークは依然としてよく一般化されています。
この予期しないプロパティは、ネットワークのいわゆる暗黙のバイアスに起因します。これは、トレーニングデータに正しくラベル付けされる多くの可能性の中で、効果的に一般化するソリューションに収束する傾向を説明しています。
私たちの研究の目的は、非線形活性化機能がそれを形成することにどのように貢献するかに焦点を当てて、新しい視点からこのバイアスを探求することです。
最初に、連続体重の再測定対称性を除去するリパラメーター化を導入します。
第二に、カーネルレジームでは、この再評価を活用して、浅いニューラルネットワークをラドン変換に関連付ける最近の調査結果を一般化し、幅広いクラスの活性化関数によって誘発される暗黙的なバイアスの明示的な式を導き出します。
具体的には、ラドン変換とフーリエ変換の間の接続を利用することにより、カーネルレジームの誘導バイアスを、活性化関数に依存する方法で、高周波成分を罰するスペクトルセミノームを最小化すると解釈します。
最後に、適応体制では、ニューロンの活性化関数への入力がゼロであるハイパープレーンのクラスターの形成を促進する局所動的なアトラクタの存在を示し、多くのニューロンの応答関数間のアライメントを生成します。
これらの理論的結果をシミュレーションで確認します。
私たちの研究は、オーバーパラメーター化されたニューラルネットワークの一般化能力の根底にあるメカニズムと暗黙のバイアスとの関係をより深く理解し、より効率的で堅牢なモデルを設計するための潜在的な経路を提供します。

要約(オリジナル)

Despite classical statistical theory predicting severe overfitting, modern massively overparameterized neural networks still generalize well. This unexpected property is attributed to the network’s so-called implicit bias, which describes its propensity to converge to solutions that generalize effectively, among the many possible that correctly label the training data. The aim of our research is to explore this bias from a new perspective, focusing on how non-linear activation functions contribute to shaping it. First, we introduce a reparameterization which removes a continuous weight rescaling symmetry. Second, in the kernel regime, we leverage this reparameterization to generalize recent findings that relate shallow Neural Networks to the Radon transform, deriving an explicit formula for the implicit bias induced by a broad class of activation functions. Specifically, by utilizing the connection between the Radon transform and the Fourier transform, we interpret the kernel regime’s inductive bias as minimizing a spectral seminorm that penalizes high-frequency components, in a manner dependent on the activation function. Finally, in the adaptive regime, we demonstrate the existence of local dynamical attractors that facilitate the formation of clusters of hyperplanes where the input to a neuron’s activation function is zero, yielding alignment between many neurons’ response functions. We confirm these theoretical results with simulations. All together, our work provides a deeper understanding of the mechanisms underlying the generalization capabilities of overparameterized neural networks and its relation with the implicit bias, offering potential pathways for designing more efficient and robust models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google