Towards Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It

要約

ラベル スムージング (LS) は、テスト精度の向上に効果的であり、実装が簡単であるため、ニューラル ネットワークをトレーニングするための一般的な正則化方法です。
ハード ワンホット ラベルは、確率質量を他のクラスに均一に分配することで平滑化され、過剰適合が軽減されます。
これまでの研究では、場合によっては LS が選択的分類 (SC) を低下させる可能性があることが示唆されており、その目的はモデルの不確実性を使用して誤分類を拒否することです。
この研究では、LS が一貫して SC を低下させることを、広範な大規模タスクおよびアーキテクチャにわたって初めて実証します。
次に、既存の知識のギャップに対処し、ロジットレベルの勾配を分析することでこの動作の説明を提供します。LS は、予測が正しい可能性が高い場合は最大ロジットをより正則化し、そうでない場合は最大ロジットを正規化することにより、正しい予測と誤った予測の不確実性ランク順序を低下させます。
間違いそうなとき。
これは、強力な分類器が SC でパフォーマンスを下回るという以前に報告された実験結果を解明します。
次に、LS によって失われた SC パフォーマンスを回復するための事後ロジット正規化の経験的有効性を実証します。
さらに、勾配解析に戻って、なぜそのような正規化が効果的であるのかについても説明します。

要約(オリジナル)

Label smoothing (LS) is a popular regularisation method for training neural networks as it is effective in improving test accuracy and is simple to implement. Hard one-hot labels are smoothed by uniformly distributing probability mass to other classes, reducing overfitting. Prior work has suggested that in some cases LS can degrade selective classification (SC) — where the aim is to reject misclassifications using a model’s uncertainty. In this work, we first demonstrate empirically across an extended range of large-scale tasks and architectures that LS consistently degrades SC. We then address a gap in existing knowledge, providing an explanation for this behaviour by analysing logit-level gradients: LS degrades the uncertainty rank ordering of correct vs incorrect predictions by regularising the max logit more when a prediction is likely to be correct, and less when it is likely to be wrong. This elucidates previously reported experimental results where strong classifiers underperform in SC. We then demonstrate the empirical effectiveness of post-hoc logit normalisation for recovering lost SC performance caused by LS. Furthermore, linking back to our gradient analysis, we again provide an explanation for why such normalisation is effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google