Understanding Sparse Feature Updates in Deep Networks using Iterative Linearisation

要約

大規模で深いネットワークは、オーバーフィットする能力が増加しているにもかかわらず、うまく一般化します。
なぜこれが起こるのかを理解することは理論的にも実際的にも重要です。
最近のアプローチの 1 つは、そのようなネットワークとそれに対応するカーネルの無限に広い限界に注目しています。
ただし、無限ネットワークとは対照的に、勾配降下ベースのトレーニング中に経験的カーネルが大幅に変化するため、これらの理論的ツールは有限ネットワークを完全に説明することはできません。
この研究では、この違いをさらに調査するための新しい経験的ツールとして反復線形化トレーニング手法を導き出し、まばらな (つまり、頻度が低い) 特徴更新を制御し、同等のパフォーマンスを達成するために必要な特徴学習の頻度を定量化できるようにします。
我々は、反復線形化を、特徴を学習しない無限幅領域の有限類似体と、特徴を学習する標準の勾配降下トレーニングの間の補間として正当化します。
非公式には、これがガウス ニュートン アルゴリズムの減衰バージョン (2 次法) に類似していることも示します。
さまざまなケースにおいて、反復線形化トレーニングが驚くべきことに標準トレーニングと同等のパフォーマンスを発揮することを示し、特に、同等のパフォーマンスを達成するために必要な特徴学習の頻度がどれほど少ないかに注目します。
また、優れたパフォーマンスには特徴学習が不可欠であることも示します。
このような特徴学習は必然的に NTK カーネルの変化を引き起こすため、トレーニング中に NTK カーネルが一定のままであるという NTK 理論に対する直接的な否定的な証拠を提供します。

要約(オリジナル)

Larger and deeper networks generalise well despite their increased capacity to overfit. Understanding why this happens is theoretically and practically important. One recent approach looks at the infinitely wide limits of such networks and their corresponding kernels. However, these theoretical tools cannot fully explain finite networks as the empirical kernel changes significantly during gradient-descent-based training in contrast to infinite networks. In this work, we derive an iterative linearised training method as a novel empirical tool to further investigate this distinction, allowing us to control for sparse (i.e. infrequent) feature updates and quantify the frequency of feature learning needed to achieve comparable performance. We justify iterative linearisation as an interpolation between a finite analog of the infinite width regime, which does not learn features, and standard gradient descent training, which does. Informally, we also show that it is analogous to a damped version of the Gauss-Newton algorithm — a second-order method. We show that in a variety of cases, iterative linearised training surprisingly performs on par with standard training, noting in particular how much less frequent feature learning is required to achieve comparable performance. We also show that feature learning is essential for good performance. Since such feature learning inevitably causes changes in the NTK kernel, we provide direct negative evidence for the NTK theory, which states the NTK kernel remains constant during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google