Understanding Sparse Feature Updates in Deep Networks using Iterative Linearisation

要約

大規模で深いネットワークは、オーバーフィットする能力が増加しているにもかかわらず、うまく一般化します。
なぜこれが起こるのかを理解することは理論的にも実際的にも重要です。
1 つのアプローチは、そのようなネットワークの無限に広い限界に注目することです。
ただし、無限ネットワークとは対照的に、特徴を学習せず、経験的なカーネルがトレーニング中に大幅に変化するため、これらでは有限ネットワークを完全に説明することはできません。
この研究では、この違いを調査するための反復線形化トレーニング手法を導出し、これにより、まばらな (つまり、頻度が低い) 特徴更新を制御し、同等のパフォーマンスを達成するために必要な特徴学習の頻度を定量化できるようになります。
我々は、反復線形化を、特徴を学習しない無限幅領域の有限類似体と、特徴を学習する標準の勾配降下トレーニングの間の補間として正当化します。
また、これがガウス ニュートン アルゴリズムの減衰バージョン (2 次法) に類似していることも示します。
さまざまなケースにおいて、反復線形化トレーニングが標準トレーニングと同等のパフォーマンスを発揮することを示し、特に同等のパフォーマンスを達成するために必要な特徴学習の頻度がどれほど少ないかに注目します。
また、優れたパフォーマンスには特徴学習が不可欠であることも示します。
このような特徴学習は必然的に NTK カーネルに変化を引き起こすため、トレーニング中に NTK カーネルが一定のままであるという NTK 理論に対する直接的な否定的な証拠となります。

要約(オリジナル)

Larger and deeper networks generalise well despite their increased capacity to overfit. Understanding why this happens is theoretically and practically important. One approach has been to look at the infinitely wide limits of such networks. However, these cannot fully explain finite networks as they do not learn features and the empirical kernel changes significantly during training in contrast to infinite networks. In this work, we derive an iterative linearised training method to investigate this distinction, allowing us to control for sparse (i.e. infrequent) feature updates and quantify the frequency of feature learning needed to achieve comparable performance. We justify iterative linearisation as an interpolation between a finite analog of the infinite width regime, which does not learn features, and standard gradient descent training, which does. We also show that it is analogous to a damped version of the Gauss-Newton algorithm — a second-order method. We show that in a variety of cases, iterative linearised training performs on par with standard training, noting in particular how much less frequent feature learning is required to achieve comparable performance. We also show that feature learning is essential for good performance. Since such feature learning inevitably causes changes in the NTK kernel, it provides direct negative evidence for the NTK theory, which states the NTK kernel remains constant during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google