A note on regularised NTK dynamics with an application to PAC-Bayesian training

要約

トレーニング目標にパラメーターを初期値に近いままに保つように制約する正則化項を持つニューラル ネットワークの明示的なダイナミクスを確立します。
これにより、ネットワークが遅延トレーニング状態に保たれ、初期化の前後でダイナミクスを線形化できます。
標準ニューラル タンジェント カーネル (NTK) は、無限幅制限でのトレーニング中の進化を制御しますが、正則化により、ダイナミクスを記述する微分方程式に追加の項が表示されます。
この設定は、PAC ベイズ境界などの一般化目標を最適化するように訓練された広域ネットワークの進化を研究するための適切なフレームワークを提供するため、そのようなネットワークのより深い理論的理解に貢献する可能性があります。

要約(オリジナル)

We establish explicit dynamics for neural networks whose training objective has a regularising term that constrains the parameters to remain close to their initial value. This keeps the network in a lazy training regime, where the dynamics can be linearised around the initialisation. The standard neural tangent kernel (NTK) governs the evolution during the training in the infinite-width limit, although the regularisation yields an additional term appears in the differential equation describing the dynamics. This setting provides an appropriate framework to study the evolution of wide networks trained to optimise generalisation objectives such as PAC-Bayes bounds, and hence potentially contribute to a deeper theoretical understanding of such networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google