Generalized Neural Collapse for a Large Number of Classes

要約

ニューラル コラプスは、学習された最後の層表現 (別名特徴) と深層分類モデルの分類器の重みのエレガントな数学的特徴付けを提供します。
このような結果は洞察を提供するだけでなく、実用的な深層モデルを改善するための新しい技術の動機にもなります。
しかし、神経崩壊に関する既存の実証的および理論的研究のほとんどは、クラスの数が特徴空間の次元に比べて小さい場合に焦点を当てています。
この論文では、クラスの数が特徴空間の次元よりもはるかに大きいケースに神経崩壊を拡張します。これは、言語モデル、検索システム、顔認識アプリケーションで広く発生します。
特徴と分類子が一般化されたニューラル崩壊現象を示し、最小の 1 対残りのマージンが最大化されることを示します。実際のディープ ニューラル ネットワークにおける一般化されたニューラル崩壊の発生を検証するための実証研究を提供します。
さらに、特徴の次元とクラス数に関する特定の技術的条件下で、球面制約を伴う制約のない特徴モデルの下で一般化された神経崩壊が発生する可能性があることを示す理論研究を提供します。

要約(オリジナル)

Neural collapse provides an elegant mathematical characterization of learned last layer representations (a.k.a. features) and classifier weights in deep classification models. Such results not only provide insights but also motivate new techniques for improving practical deep models. However, most of the existing empirical and theoretical studies in neural collapse focus on the case that the number of classes is small relative to the dimension of the feature space. This paper extends neural collapse to cases where the number of classes are much larger than the dimension of feature space, which broadly occur for language models, retrieval systems, and face recognition applications. We show that the features and classifier exhibit a generalized neural collapse phenomenon, where the minimum one-vs-rest margins is maximized.We provide empirical study to verify the occurrence of generalized neural collapse in practical deep neural networks. Moreover, we provide theoretical study to show that the generalized neural collapse provably occurs under unconstrained feature model with spherical constraint, under certain technical conditions on feature dimension and number of classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google