How Does Perfect Fitting Affect Representation Learning? On the Training Dynamics of Representations in Deep Neural Networks

要約

この論文では、ディープ ニューラル ネットワーク (DNN) の表現がトレーニング中にどのように進化するかを解明します。
私たちは、トレーニングされた DNN がトレーニング データに完全に適合し始めた後もトレーニングが継続される、オーバーパラメーター化された学習設定に焦点を当てています。
私たちは、完璧な適合体制を含む学習プロセス全体に沿って、また時代ごとの二重降下現象に関して、学習された表現の進化を調べます。
トレーニング プロセス全体を通じて、DNN レイヤーの表現の類似性を、各レイヤーが独自の表現に関して調査します。
このために、次の 2 つの類似性メトリックを使用します。(1) 中心カーネル アライメント (CKA) の類似性。
(2) DNN 層に対してトレーニングした線形分類子プローブの決定領域の類似性。
私たちの広範な実験により、相対的な層の深さ、DNN 幅、およびアーキテクチャに応じて層内に出現する可能性のあるトレーニング ダイナミクス パターンが発見されました。
私たちは、エポックごとの二重降下が発生した場合、より深い層の表現がトレーニングでさらに進化することを示します。
Vision Transformer については、完全なフィッティングしきい値によって、すべてのエンコーダー ブロックにわたる表現の進化に遷移が生じることを示します。

要約(オリジナル)

In this paper, we elucidate how representations in deep neural networks (DNNs) evolve during training. We focus on overparameterized learning settings where the training continues much after the trained DNN starts to perfectly fit its training data. We examine the evolution of learned representations along the entire training process, including its perfect fitting regime, and with respect to the epoch-wise double descent phenomenon. We explore the representational similarity of DNN layers, each layer with respect to its own representations throughout the training process. For this, we use two similarity metrics: (1) The centered kernel alignment (CKA) similarity; (2) Similarity of decision regions of linear classifier probes that we train for the DNN layers. Our extensive experiments discover training dynamics patterns that can emerge in layers depending on the relative layer-depth, DNN width, and architecture. We show that representations at the deeper layers evolve much more in the training when an epoch-wise double descent occurs. For Vision Transformer, we show that the perfect fitting threshold creates a transition in the evolution of representations across all the encoder blocks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google