ProSelfLC: Progressive Self Label Correction Towards A Low-Temperature Entropy State

要約

ラベル修正アプローチには、自己および非自己ラベル修正（LC）、出力正則化などのファミリーがある。これらはロバストなディープニューラルネットワーク（DNN）の学習に広く用いられているが、これまで一緒に数学的に徹底的に分析されたことはない。我々はこれらを研究し、以下の3つの重要な問題を発見した：(1) 自己LCは自身の知識を活用し、補助モデルを必要としないため、我々は自己LCを採用することに関心が高い。しかし、学習が進むにつれて学習者を適応的に信頼する方法は不明である。(2）低エントロピー（＝高信頼度）予測にペナルティを課す手法とそうでない手法があり、どちらが優れているのかが問われる。(3）標準的な学習設定では、ノイズが大きいと学習モデルの信頼性が低下する。高エントロピーな知識を用いた自己LCでは、高エントロピーな目標が生成されてしまう。 (1)の問題を解決するために、我々は、深層神経回路網がノイズに適合する前に意味のあるパターンを学習するという、よく知られた知見にヒントを得て、学習時間と予測エントロピーに従って設計されたProSelfLCという新しいエンドツーエンド方法を提案する。具体的には、任意のデータ点に対して、学習時間が比較的長く、予測値のエントロピーが低い場合、その予測確率分布と注釈付き確率分布を段階的かつ適応的に信頼させる。(2)については、ProSelfLCの有効性はエントロピーの最小化を守ることである。ProSelfLCにより、意味的に低エントロピーな状態を再定義し、それに向かって学習者を最適化することがより効果的であることを経験的に証明することができる。(3)の課題に対しては、自己知識のエントロピーを低温で減少させてからラベルの修正に利用し、修正後のラベルが低エントロピーの目標確率分布を再定義するようにする。 我々は、クリーンな環境とノイズの多い環境の両方で、また、画像とタンパク質の両方のデータセットで、広範囲な実験を通してProSelfLCの有効性を実証する。

要約(オリジナル)

There is a family of label modification approaches including self and non-self label correction (LC), and output regularisation. They are widely used for training robust deep neural networks (DNNs), but have not been mathematically and thoroughly analysed together. We study them and discover three key issues: (1) We are more interested in adopting Self LC as it leverages its own knowledge and requires no auxiliary models. However, it is unclear how to adaptively trust a learner as the training proceeds. (2) Some methods penalise while the others reward low-entropy (i.e., high-confidence) predictions, prompting us to ask which one is better. (3) Using the standard training setting, a learned model becomes less confident when severe noise exists. Self LC using high-entropy knowledge would generate high-entropy targets. To resolve the issue (1), inspired by a well-accepted finding, i.e., deep neural networks learn meaningful patterns before fitting noise, we propose a novel end-to-end method named ProSelfLC, which is designed according to the learning time and prediction entropy. Concretely, for any data point, we progressively and adaptively trust its predicted probability distribution versus its annotated one if a network has been trained for a relatively long time and the prediction is of low entropy. For the issue (2), the effectiveness of ProSelfLC defends entropy minimisation. By ProSelfLC, we empirically prove that it is more effective to redefine a semantic low-entropy state and optimise the learner toward it. To address the issue (3), we decrease the entropy of self knowledge using a low temperature before exploiting it to correct labels, so that the revised labels redefine low-entropy target probability distributions. We demonstrate the effectiveness of ProSelfLC through extensive experiments in both clean and noisy settings, and on both image and protein datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL