A Study of Neural Collapse Phenomenon: Grassmannian Frame, Symmetry and Generalization

要約

本論文では、一般化された神経崩壊仮説を証明することで、本来の神経崩壊現象を拡張している。我々は、分類の最適化と一般化からグラスマニアンフレーム構造を得る。この構造は、2つのクラスの特徴を球面上で最大に分離し、クラスの数より大きな特徴次元を必要としない。グラスマンフレームの対称性についての興味から、異なるグラスマンフレームを持つモデルが異なる性能を持つかどうかを調べる実験を行った。その結果、Symmetric Generalizationという現象を発見する。順列のSymmetric Generalizationを説明する定理を提供する。しかし、なぜ特徴の方向性が異なると、このような異なる汎化になるのかという疑問は、今後の検討課題である。

要約(オリジナル)

In this paper, we extend original Neural Collapse Phenomenon by proving Generalized Neural Collapse hypothesis. We obtain Grassmannian Frame structure from the optimization and generalization of classification. This structure maximally separates features of every two classes on a sphere and does not require a larger feature dimension than the number of classes. Out of curiosity about the symmetry of Grassmannian Frame, we conduct experiments to explore if models with different Grassmannian Frames have different performance. As a result, we discover the Symmetric Generalization phenomenon. We provide a theorem to explain Symmetric Generalization of permutation. However, the question of why different directions of features can lead to such different generalization is still open for future investigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL