MaxSup: Overcoming Representation Collapse in Label Smoothing

要約

ラベルスムージング（LS）は、ニューラルネットワークの予測への自信過剰を減らし、一般化を改善するために広く採用されています。
これらの利点にもかかわらず、最近の研究では、LSに関する2つの重要な問題が明らかになりました。
第一に、LSは誤分類されたサンプルに自信過剰を誘導します。
第二に、この現象の正確な原因はとらえどころのないままでしたが、クラス内の多様性を希釈して、特徴表現を過度にタイトなクラスターに圧縮します。
この論文では、LSによる損失を分析的に分解し、2つの重要な用語を公開します。（i）予測が正しい場合にのみ、自信過剰を減衰させる正規化用語、および（ii）誤分類の下で生じるエラー増幅用語。
この後者の用語により、ネットワークは、過度の確実性、悪化する表現の崩壊による誤った予測を強化することを強いられます。
これらの欠点に対処するために、マックス抑制（MaxSup）を提案します。これは、グラウンドトゥルースロジットではなくTOP-1ロジットをペナルティすることにより、正解と誤った予測の両方に均一な正則化を適用します。
広範な機能空間分析を通じて、MaxSupがクラス内変動を回復し、クラス間境界を削減することを示します。
大規模な画像分類と複数のダウンストリームタスクに関する実験では、MaxsupがLSのより堅牢な代替品であることを確認し、より豊かな機能表現を維持しながら、自信過剰を一貫して減らします。
コードは、https：//github.com/zhouyuxuanyx/maximum-suppression-正規化で入手できます

要約(オリジナル)

Label Smoothing (LS) is widely adopted to reduce overconfidence in neural network predictions and improve generalization. Despite these benefits, recent studies reveal two critical issues with LS. First, LS induces overconfidence in misclassified samples. Second, it compacts feature representations into overly tight clusters, diluting intra-class diversity, although the precise cause of this phenomenon remained elusive. In this paper, we analytically decompose the LS-induced loss, exposing two key terms: (i) a regularization term that dampens overconfidence only when the prediction is correct, and (ii) an error-amplification term that arises under misclassifications. This latter term compels the network to reinforce incorrect predictions with undue certainty, exacerbating representation collapse. To address these shortcomings, we propose Max Suppression (MaxSup), which applies uniform regularization to both correct and incorrect predictions by penalizing the top-1 logit rather than the ground-truth logit. Through extensive feature-space analyses, we show that MaxSup restores intra-class variation and sharpens inter-class boundaries. Experiments on large-scale image classification and multiple downstream tasks confirm that MaxSup is a more robust alternative to LS, consistently reducing overconfidence while preserving richer feature representations. Code is available at: https://github.com/ZhouYuxuanYX/Maximum-Suppression-Regularization

arxiv情報

提供元, 利用サービス

arxiv.jp, Google