How Do the Architecture and Optimizer Affect Representation Learning? On the Training Dynamics of Representations in Deep Neural Networks

要約

本稿では、ディープニューラルネットワーク（DNN）の表現が学習中にどのように進化するかを解明する。我々の焦点は、訓練されたDNNがその訓練データに完全に適合し始めた後も訓練が継続される、オーバーパラメータ化された学習設定にある。我々は、学習された表現の進化を学習プロセス全体に沿って調べる。我々は、学習プロセス全体を通して、DNN層の表現的類似性、各層の表現的類似性を探索する。(1)中心カーネルアライメント(CKA)類似度、(2)DNN層に対して訓練する線形分類器プローブの決定領域の類似度。我々は、DNN学習中のDNN出力と層プローブの決定領域を可視化し、分析することで、それらが幾何学的にどのように進化するかを示す。我々の広範な実験により、相対的なレイヤーの深さ、アーキテクチャ、オプティマイザに依存してレイヤーに現れる可能性のあるトレーニングダイナミクスパターンを発見した。(ii)ResNetとは異なり、ViT層は表現学習のダイナミクスが同期している。

要約(オリジナル)

In this paper, we elucidate how representations in deep neural networks (DNNs) evolve during training. Our focus is on overparameterized learning settings where the training continues much after the trained DNN starts to perfectly fit its training data. We examine the evolution of learned representations along the entire training process. We explore the representational similarity of DNN layers, each layer with respect to its own representations throughout the training process. For this, we use two similarity metrics: (1) The centered kernel alignment (CKA) similarity; (2) Similarity of decision regions of linear classifier probes that we train for the DNN layers. We visualize and analyze the decision regions of the DNN output and the layer probes during the DNN training to show how they geometrically evolve. Our extensive experiments discover training dynamics patterns that can emerge in layers depending on the relative layer-depth, architecture and optimizer. Among our findings: (i) The training phases, including those related to memorization, are more distinguishable in SGD training than in Adam training, and for Vision Transformer (ViT) than for ResNet; (ii) Unlike ResNet, the ViT layers have synchronized dynamics of representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL