Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization

要約

2 次最適化は、多くのアプリケーションでディープ ニューラル ネットワークのトレーニングを高速化することが示されており、多くの場合、1 次オプティマイザーと比較してトレーニング損失の反復あたりの進捗が速くなります。
ただし、2 次法の一般化特性についてはまだ議論の余地があります。
理論的な調査は、大幅に単純化されたモデルクラスの扱いやすい設定の外で実行することが難しいことが判明しています。したがって、既存の理論と実際の深層学習アプリケーションとの関連性は依然として不明瞭です。
同様に、大規模モデルや実際のデータセットでの実証研究は、実際には 2 次更新を近似する必要があるため、非常に混乱します。
観察された一般化動作がパラメータ更新の 2 次の性質から特に生じているのか、それとも代わりに使用されている特定の構造化された (クロネッカーなど) 近似や 1 次更新に対する減衰ベースの補間を反映しているのかは不明なことがよくあります。
今回、我々は、正確なガウスニュートン (GN) 更新が、一般的なベンチマーク データセットに意味のある適用を行うのに十分な表現力を備えた、深い可逆アーキテクチャのクラスにおいて扱いやすい形式をとることを初めて示します。
この新しい設定を利用して、GN オプティマイザーのトレーニングと汎化プロパティを研究します。
正確な GN は一般化が不十分であることがわかります。
ミニバッチのトレーニング設定では、これは、\emph{training} 損失でも急速に飽和した進行として現れ、パラメーターの更新により、他のミニバッチへの一般化をサポートする特徴が生成されずに、各ミニバッチに過剰適合することが判明しました。
私たちの実験は、トレーニング中にニューラル タンジェント カーネル (NTK) がほとんど変化しない「遅延」体制で実行されることを示します。
この動作は、神経表現に大きな変化がないことに関連しており、一般化の欠如を説明しています。

要約(オリジナル)

Second-order optimization has been shown to accelerate the training of deep neural networks in many applications, often yielding faster progress per iteration on the training loss compared to first-order optimizers. However, the generalization properties of second-order methods are still being debated. Theoretical investigations have proved difficult to carry out outside the tractable settings of heavily simplified model classes — thus, the relevance of existing theories to practical deep learning applications remains unclear. Similarly, empirical studies in large-scale models and real datasets are significantly confounded by the necessity to approximate second-order updates in practice. It is often unclear whether the observed generalization behaviour arises specifically from the second-order nature of the parameter updates, or instead reflects the specific structured (e.g.\ Kronecker) approximations used or any damping-based interpolation towards first-order updates. Here, we show for the first time that exact Gauss-Newton (GN) updates take on a tractable form in a class of deep reversible architectures that are sufficiently expressive to be meaningfully applied to common benchmark datasets. We exploit this novel setting to study the training and generalization properties of the GN optimizer. We find that exact GN generalizes poorly. In the mini-batch training setting, this manifests as rapidly saturating progress even on the \emph{training} loss, with parameter updates found to overfit each mini-batchatch without producing the features that would support generalization to other mini-batches. We show that our experiments run in the “lazy” regime, in which the neural tangent kernel (NTK) changes very little during the course of training. This behaviour is associated with having no significant changes in neural representations, explaining the lack of generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google