Memorization-Dilation: Modeling Neural Collapse Under Label Noise

要約

タイトル：ラベルノイズ下のニューラル崩壊のモデリング：Memorization-Dilation

要約：

– ニューラル崩壊とは、さまざまな典型的な分類問題で経験的に観察されたいくつかの発生現象を指す。
– ディープニューラルネットワークのトレーニング終了時、同じクラスのすべての例の特徴埋め込みは単一の表現に収束し、異なるクラスの特徴は可能な限り分離する傾向がある。
– Neural Collapseは、単純化されたモデルである「無制約特徴表現」を用いてしばしば研究される。このモデルでは、モデルは「無限の表現性」を持ち、任意の表現に各データ点をマッピングできると仮定されている。
– 本研究では、ネットワークの限定された表現性を考慮したもっと現実的な無制約特徴表現の変種を提案する。
– 経験的な証拠は、ノイズのあるデータポイントの記憶がニューラル崩壊の劣化（膨張）につながることを示唆している。
– Memorization-Dilation（M-D）現象のモデルを用いて、異なる損失がノイズのあるデータに対してトレーニングされたネットワークの異なるパフォーマンスにつながる機構を示す。
– ラベルスムージングは、交差エントロピーの修正であり、正則化効果を生み出すことが経験的に観察された理由がわかる。そこで、本論文の証明はラベルスムージングが分類タスクで汎化性能を向上させる理由を明らかにする。

要約(オリジナル)

The notion of neural collapse refers to several emergent phenomena that have been empirically observed across various canonical classification problems. During the terminal phase of training a deep neural network, the feature embedding of all examples of the same class tend to collapse to a single representation, and the features of different classes tend to separate as much as possible. Neural collapse is often studied through a simplified model, called the unconstrained feature representation, in which the model is assumed to have ‘infinite expressivity’ and can map each data point to any arbitrary representation. In this work, we propose a more realistic variant of the unconstrained feature representation that takes the limited expressivity of the network into account. Empirical evidence suggests that the memorization of noisy data points leads to a degradation (dilation) of the neural collapse. Using a model of the memorization-dilation (M-D) phenomenon, we show one mechanism by which different losses lead to different performances of the trained network on noisy data. Our proofs reveal why label smoothing, a modification of cross-entropy empirically observed to produce a regularization effect, leads to improved generalization in classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI