Retraining with Predicted Hard Labels Provably Increases Model Accuracy

要約

\textit{ノイズのあるラベル} でトレーニングされたモデルのパフォーマンスは、独自の予測された \textit{ハード} ラベル (つまり、$1$/$0$ ラベル) を使用してモデルを単に \textit{再トレーニング}するだけで改善されることがよくあります。
しかし、この現象の詳細な理論的特徴付けは不足しています。
この論文では、ランダムに破損したラベルが与えられた線形分離可能な設定での再トレーニングを理論的に分析し、再トレーニングにより、与えられた (ノイズの多い) ラベルで最初にトレーニングすることによって得られる母集団の精度が向上することを証明します。
私たちの知る限り、これはそのような理論上の最初の結果です。
再トレーニングは、ノイズの多いラベルを使用したトレーニングを含む、ローカル ラベルの差分プライバシー (DP) を使用したトレーニングの改善に応用できます。
私たちは、予測されたラベルが指定されたラベルと一致するサンプルを選択的に再トレーニングすると、\textit{追加のプライバシー コストなし}でラベル DP トレーニングが大幅に向上することを経験的に示しています。
私たちはこれを \textit{コンセンサスベースの再トレーニング} と呼びます。
例として、$\epsilon=3$ ラベル DP を使用して CIFAR-100 で ResNet-18 をトレーニングすると、コンセンサスベースの再トレーニングにより $6.4\%$ の精度向上が得られます。

要約(オリジナル)

The performance of a model trained with \textit{noisy labels} is often improved by simply \textit{retraining} the model with its own predicted \textit{hard} labels (i.e., $1$/$0$ labels). Yet, a detailed theoretical characterization of this phenomenon is lacking. In this paper, we theoretically analyze retraining in a linearly separable setting with randomly corrupted labels given to us and prove that retraining can improve the population accuracy obtained by initially training with the given (noisy) labels. To the best of our knowledge, this is the first such theoretical result. Retraining finds application in improving training with local label differential privacy (DP) which involves training with noisy labels. We empirically show that retraining selectively on the samples for which the predicted label matches the given label significantly improves label DP training at \textit{no extra privacy cost}; we call this \textit{consensus-based retraining}. As an example, when training ResNet-18 on CIFAR-100 with $\epsilon=3$ label DP, we obtain $6.4\%$ improvement in accuracy with consensus-based retraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google