Well-classified Examples are Underestimated in Classification with Deep Neural Networks

要約

深い分類モデルを学習する際の従来の知恵は、分類の悪い例に注目し、決定境界から遠く離れたよく分類された例を無視することです。
たとえば、交差エントロピー損失でトレーニングする場合、可能性が高い例 (つまり、適切に分類された例) は、逆伝播の勾配が小さくなります。
ただし、この一般的な慣行が表現学習、エネルギーの最適化、マージンの成長を妨げることを理論的に示しています。
この欠陥に対抗するために、よく分類された例に追加のボーナスを与えて、学習プロセスへの貢献を復活させることを提案します。
この反例は、理論的にこれら 3 つの問題に対処します。
画像分類、グラフ分類、機械翻訳などのさまざまなタスクに関する反例を使用して、理論的な結果または大幅なパフォーマンスの向上を直接検証することにより、この主張を経験的にサポートします。
さらに、この論文は、私たちのアイデアがこれら 3 つの問題を解決できるため、不均衡な分類、OOD 検出、敵対的攻撃下のアプリケーションなどの複雑なシナリオに対処できることを示しています。
コードは https://github.com/lancopku/well-classified-examples-are-underestimated で入手できます。

要約(オリジナル)

The conventional wisdom behind learning deep classification models is to focus on bad-classified examples and ignore well-classified examples that are far from the decision boundary. For instance, when training with cross-entropy loss, examples with higher likelihoods (i.e., well-classified examples) contribute smaller gradients in back-propagation. However, we theoretically show that this common practice hinders representation learning, energy optimization, and margin growth. To counteract this deficiency, we propose to reward well-classified examples with additive bonuses to revive their contribution to the learning process. This counterexample theoretically addresses these three issues. We empirically support this claim by directly verifying the theoretical results or significant performance improvement with our counterexample on diverse tasks, including image classification, graph classification, and machine translation. Furthermore, this paper shows that we can deal with complex scenarios, such as imbalanced classification, OOD detection, and applications under adversarial attacks because our idea can solve these three issues. Code is available at: https://github.com/lancopku/well-classified-examples-are-underestimated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google