Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges

要約

ニューラル崩壊 (NC) は、トレーニングの最終段階 (TPT) におけるディープ ニューラル ネットワークのよく知られた現象です。
これは、機能と分類器を対称構造に折りたたむことを特徴とし、シンプレックス等角タイト フレーム (ETF) として知られています。
神経崩壊の全体的な最適性を示す最適化特性については広範な研究が行われていますが、NC 発生時の一般化動作についてはほとんど研究が行われていません。
特に、TPT 中の一般化改善という重要な現象は、経験的な観察にとどまっており、厳密な理論的説明が不足しています。
この論文では、TPT 中の CE の最小化とマルチクラス SVM の間の関係を確立し、マルチクラス マージン汎化限界を導出します。これは、トレーニングを継続することがテストの精度向上につながる理由の理論的説明を提供します。
トレインの精度が 100% に達した後でも設定されます。
さらに、さらなる理論的結果は、すべてのモデルが NC に達し、トレインセットで同様の最適化パフォーマンスを示しているにもかかわらず、シンプレックス ETF 内のラベルと特徴間のアライメントが異なると、汎化の改善の程度はさまざまである可​​能性があることを示しています。
私たちはこの新しく発見された性質を「非保守的一般化」と呼びます。
実験では、理論的結果が示唆する兆候を検証するための経験的観察も提供します。

要約(オリジナル)

Neural Collapse (NC) is a well-known phenomenon of deep neural networks in the terminal phase of training (TPT). It is characterized by the collapse of features and classifier into a symmetrical structure, known as simplex equiangular tight frame (ETF). While there have been extensive studies on optimization characteristics showing the global optimality of neural collapse, little research has been done on the generalization behaviors during the occurrence of NC. Particularly, the important phenomenon of generalization improvement during TPT has been remaining in an empirical observation and lacking rigorous theoretical explanation. In this paper, we establish the connection between the minimization of CE and a multi-class SVM during TPT, and then derive a multi-class margin generalization bound, which provides a theoretical explanation for why continuing training can still lead to accuracy improvement on test set, even after the train accuracy has reached 100%. Additionally, our further theoretical results indicate that different alignment between labels and features in a simplex ETF can result in varying degrees of generalization improvement, despite all models reaching NC and demonstrating similar optimization performance on train set. We refer to this newly discovered property as ‘non-conservative generalization’. In experiments, we also provide empirical observations to verify the indications suggested by our theoretical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google