Are Neurons Actually Collapsed? On the Fine-Grained Structure in Neural Representations

要約

最近の研究では、よく訓練されたニューラル ネットワークにおいて、同じラベルを持つ訓練サンプルの最終層表現が互いに崩壊する、興味深い「ニューラル崩壊」現象が観察されました。
これは、最後の層の表現がラベルによって完全に決定され、入力分布の固有の構造に依存しないことを示唆しているようです。
我々は、これが完全な記述ではなく、明らかな崩壊により表現内の重要な細粒構造が隠されていることを示す証拠を提供します。
具体的には、表現が明らかに崩壊している場合でも、残っている少量の変動は依然として入力分布の本質的な構造を忠実かつ正確に捉えることができます。
例として、収束するまで 5 つの粗粒ラベルのみを使用して (2 つのクラスを 1 つのスーパークラスに結合することにより) CIFAR-10 でトレーニングした場合、教師なしクラスタリングを介して、学習された表現から元の 10 クラスのラベルを再構築できます。
再構成されたラベルは、CIFAR-10 テスト セットで $93\%$ の精度を達成し、同じアーキテクチャの通常の CIFAR-10 精度とほぼ一致します。
また、単純化された合成設定におけるきめの細かい表現構造を示す初期の理論的結果も提供します。
私たちの結果は、Neural Collapse の予測を超えて、ニューラル表現のきめの細かい構造を決定する際に、入力データの構造がどのように重要な役割を果たすことができるかを具体的に示しています。

要約(オリジナル)

Recent work has observed an intriguing ”Neural Collapse” phenomenon in well-trained neural networks, where the last-layer representations of training samples with the same label collapse into each other. This appears to suggest that the last-layer representations are completely determined by the labels, and do not depend on the intrinsic structure of input distribution. We provide evidence that this is not a complete description, and that the apparent collapse hides important fine-grained structure in the representations. Specifically, even when representations apparently collapse, the small amount of remaining variation can still faithfully and accurately captures the intrinsic structure of input distribution. As an example, if we train on CIFAR-10 using only 5 coarse-grained labels (by combining two classes into one super-class) until convergence, we can reconstruct the original 10-class labels from the learned representations via unsupervised clustering. The reconstructed labels achieve $93\%$ accuracy on the CIFAR-10 test set, nearly matching the normal CIFAR-10 accuracy for the same architecture. We also provide an initial theoretical result showing the fine-grained representation structure in a simplified synthetic setting. Our results show concretely how the structure of input data can play a significant role in determining the fine-grained structure of neural representations, going beyond what Neural Collapse predicts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google