Towards Understanding Why Label Smoothing Degrades Selective Classification and How to Fix It

要約

ラベルスムージング（LS）は、テストの精度を改善するのに効果的で実装が簡単であるため、ニューラルネットワークをトレーニングするための人気のある正則化方法です。
「ハード」のワンホットラベルは、確率の質量を他のクラスに均一に分布させ、過剰フィッティングを減らすことにより、「滑らか」です。
以前の研究では、場合によっては、LSが選択的分類（SC）を分解することができることを示唆しています。ここでは、モデルの不確実性を使用して誤分類を拒否することを目的としています。
この作業では、LSがSCを一貫して劣化させる大規模なタスクとアーキテクチャの拡張範囲にわたって経験的に実証します。
次に、既存の知識のギャップに対処し、ロジットレベルの勾配を分析することによりこの動作の説明を提供します。LSは、予測が正しい可能性が高く、より少ない場合に最大ロジットをより抑制することにより、正しい予測と誤った予測の不確実性ランクの順序付けを分解します。
間違っている可能性が高いとき。
これにより、以前に報告された実験結果が解明され、SCで強力な分類器がパフォーマンスが低下しています。
次に、LSによって引き起こされる失われたSCパフォーマンスを回復するための事後ロジット正規化の経験的有効性を示します。
さらに、勾配分析に戻って、このような正規化が効果的である理由について再び説明します。

要約(オリジナル)

Label smoothing (LS) is a popular regularisation method for training neural networks as it is effective in improving test accuracy and is simple to implement. “Hard” one-hot labels are “smoothed” by uniformly distributing probability mass to other classes, reducing overfitting. Prior work has suggested that in some cases LS can degrade selective classification (SC) — where the aim is to reject misclassifications using a model’s uncertainty. In this work, we first demonstrate empirically across an extended range of large-scale tasks and architectures that LS consistently degrades SC. We then address a gap in existing knowledge, providing an explanation for this behaviour by analysing logit-level gradients: LS degrades the uncertainty rank ordering of correct vs incorrect predictions by suppressing the max logit more when a prediction is likely to be correct, and less when it is likely to be wrong. This elucidates previously reported experimental results where strong classifiers underperform in SC. We then demonstrate the empirical effectiveness of post-hoc logit normalisation for recovering lost SC performance caused by LS. Furthermore, linking back to our gradient analysis, we again provide an explanation for why such normalisation is effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google