A Curriculum View of Robust Loss Functions

要約

タイトル：ロバスト損失関数のカリキュラム視点

要約：

– ロバスト損失関数はラベルノイズの悪影響に対抗するために設計されている。これらは通常、トレーニングダイナミクスに無関係な理論的な限界によって支持されるため、ロバスト性があると考えられている。
– しかし、これらの限界は、ロバスト損失関数が適合不足を引き起こす理由がっぱなしのため、実証パフォーマンスを特徴づけることができない場合もある。
– 我々は、ほとんどの損失関数を、同じクラススコアマージンを持つ異なるサンプルウェイト関数を持つ形式に書き直すことができることを示した。
– 結果として得られるカリキュラムビューは、トレーニングダイナミクスの明示的な分析を提供し、平均サンプルウェイトの減少による適合不足の原因を説明することができ、クリーンサンプル用の大きなウェイトによるノイズロバスト性を支えることができる。
– カリキュラムの単純な修正によって、適合不足のロバスト損失関数を最先端に競争させることができ、トレーニングスケジュールはロバスト損失関数においてもノイズロバスト性を大幅に影響することができることを示した。
– コードは\url{github}で入手可能。

要約(オリジナル)

Robust loss functions are designed to combat the adverse impacts of label noise, whose robustness is typically supported by theoretical bounds agnostic to the training dynamics. However, these bounds may fail to characterize the empirical performance as it remains unclear why robust loss functions can underfit. We show that most loss functions can be rewritten into a form with the same class-score margin and different sample-weighting functions. The resulting curriculum view provides a straightforward analysis of the training dynamics, which helps attribute underfitting to diminished average sample weights and noise robustness to larger weights for clean samples. We show that simple fixes to the curriculums can make underfitting robust loss functions competitive with the state-of-the-art, and training schedules can substantially affect the noise robustness even with robust loss functions. Code is available at \url{github}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI