Label Noise: Correcting the Forward-Correction

要約

ラベル ノイズを含むデータセットでニューラル ネットワーク分類器をトレーニングすると、ノイズのあるラベルに分類器が過剰適合してしまうリスクが生じます。
この問題に対処するために、研究者らは、より堅牢な損失関数を模索してきました。
「前方修正」は、ノイズのあるデータに対して評価される前にモデル出力にノイズを加える一般的なアプローチです。
真のノイズ モデルがわかっている場合、前方修正を適用することで学習アルゴリズムの一貫性が保証されます。
この補正はある程度の利点はありますが、ノイズの多い有限のデータセットへの過剰適合を防ぐには不十分です。
この研究では、ラベル ノイズによって引き起こされる過剰適合に対処するアプローチを提案します。
ラベル ノイズの存在は、ノイズの多い一般化リスクの下限を意味していることがわかります。
この観察に動機付けられて、過学習を軽減するためにトレーニング損失に下限を課すことを提案します。
私たちの主な貢献は、平均ノイズ率の推定値のみを考慮して下限を近似できる理論的な洞察を提供することです。
この境界を使用すると、実質的に追加の計算コストを発生させることなく、さまざまな設定における堅牢性が大幅に向上することが経験的に証明されています。

要約(オリジナル)

Training neural network classifiers on datasets with label noise poses a risk of overfitting them to the noisy labels. To address this issue, researchers have explored alternative loss functions that aim to be more robust. The `forward-correction’ is a popular approach wherein the model outputs are noised before being evaluated against noisy data. When the true noise model is known, applying the forward-correction guarantees consistency of the learning algorithm. While providing some benefit, the correction is insufficient to prevent overfitting to finite noisy datasets. In this work, we propose an approach to tackling overfitting caused by label noise. We observe that the presence of label noise implies a lower bound on the noisy generalised risk. Motivated by this observation, we propose imposing a lower bound on the training loss to mitigate overfitting. Our main contribution is providing theoretical insights that allow us to approximate the lower bound given only an estimate of the average noise rate. We empirically demonstrate that using this bound significantly enhances robustness in various settings, with virtually no additional computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google