Neural (Tangent Kernel) Collapse

要約

この研究は、トレーニング中のディープ ニューラル ネットワーク (DNN) の進化を捉えるニューラル タンジェント カーネル (NTK) と、最後の対称性と構造の出現を指すニューラル コラプス (NC) 現象という 2 つの重要な概念を橋渡しします。
よく訓練された分類 DNN の層の特徴。
経験的な NTK はクラス ラベルに合わせたブロック構造を開発する、つまり、同じクラス内のサンプルは、異なるクラスのサンプルよりも強い相関関係を持つという自然な仮定を採用します。
この仮定に基づいて、平均二乗 (MSE) 損失でトレーニングされた DNN のダイナミクスを導出し、それらを解釈可能なフェーズに分割します。
さらに、ダイナミクスの本質を捉える不変量を特定し、それをブロック構造の NTK を備えた DNN における NC の出現を証明するために使用します。
私たちは、理論を裏付けるために、3 つの一般的な DNN アーキテクチャと 3 つのベンチマーク データセットに関する大規模な数値実験を提供します。

要約(オリジナル)

This work bridges two important concepts: the Neural Tangent Kernel (NTK), which captures the evolution of deep neural networks (DNNs) during training, and the Neural Collapse (NC) phenomenon, which refers to the emergence of symmetry and structure in the last-layer features of well-trained classification DNNs. We adopt the natural assumption that the empirical NTK develops a block structure aligned with the class labels, i.e., samples within the same class have stronger correlations than samples from different classes. Under this assumption, we derive the dynamics of DNNs trained with mean squared (MSE) loss and break them into interpretable phases. Moreover, we identify an invariant that captures the essence of the dynamics, and use it to prove the emergence of NC in DNNs with block-structured NTK. We provide large-scale numerical experiments on three common DNN architectures and three benchmark datasets to support our theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google