Memorization-Dilation: Modeling Neural Collapse Under Label Noise

要約

神経崩壊の概念は、さまざまな標準的な分類問題で経験的に観察されたいくつかの緊急現象を指します。
ディープ ニューラル ネットワークのトレーニングの最終段階では、同じクラスのすべての例の特徴埋め込みが単一の表現に崩壊する傾向があり、異なるクラスの特徴は可能な限り分離される傾向があります。
ニューラル コラプスは、多くの場合、制約のない特徴表現と呼ばれる単純化されたモデルを通じて研究されます。モデルは「無限の表現力」を持ち、各データ ポイントを任意の表現にマッピングできると想定されています。
この作業では、ネットワークの限られた表現力を考慮に入れた、制約のない特徴表現のより現実的な変形を提案します。
実験的証拠は、ノイズの多いデータ ポイントの記憶が神経崩壊の劣化 (拡張) につながることを示唆しています。
記憶拡張 (M-D) 現象のモデルを使用して、さまざまな損失がノイズの多いデータに対するトレーニング済みネットワークのさまざまなパフォーマンスにつながる 1 つのメカニズムを示します。
私たちの証明は、ラベルの平滑化、つまり正則化効果を生み出すことが経験的に観察されたクロスエントロピーの修正が、分類タスクの一般化の改善につながる理由を明らかにしています。

要約(オリジナル)

The notion of neural collapse refers to several emergent phenomena that have been empirically observed across various canonical classification problems. During the terminal phase of training a deep neural network, the feature embedding of all examples of the same class tend to collapse to a single representation, and the features of different classes tend to separate as much as possible. Neural collapse is often studied through a simplified model, called the unconstrained feature representation, in which the model is assumed to have ‘infinite expressivity’ and can map each data point to any arbitrary representation. In this work, we propose a more realistic variant of the unconstrained feature representation that takes the limited expressivity of the network into account. Empirical evidence suggests that the memorization of noisy data points leads to a degradation (dilation) of the neural collapse. Using a model of the memorization-dilation (M-D) phenomenon, we show one mechanism by which different losses lead to different performances of the trained network on noisy data. Our proofs reveal why label smoothing, a modification of cross-entropy empirically observed to produce a regularization effect, leads to improved generalization in classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google