Optimized Gradient Clipping for Noisy Label Learning

要約

これまでの研究では、モデルの予測確率に関して損失関数の勾配を制約すると、ノイズの多いラベルに対するモデルのロバスト性が向上することが示されています。
これらの方法では通常、ノイズに対する望ましい堅牢性を得るために、検証データを通じて勾配クリッピングに対する固定の最適しきい値を指定します。
ただし、この一般的な方法では、トレーニングのさまざまな段階で、クリーンなサンプルとノイズのあるラベルの付いたサンプルの両方からの勾配の動的分布が見落とされ、トレーニング プロセス全体を通じて勾配の変動する性質に適応するモデルの機能が大幅に制限されます。
この問題に対処するために、最適化勾配クリッピング (OGC) と呼ばれるシンプルかつ効果的なアプローチを提案します。このアプローチは、クリーン サンプルとノイズのあるサンプルの分布をモデル化することによって推定された、クリッピング後のクリーンな勾配に対するノイズ勾配の比率に基づいてクリッピングしきい値を動的に調整します。
このアプローチにより、各トレーニング ステップでクリッピングしきい値を変更し、ノイズ勾配の影響を効果的に制御することができます。
さらに、OGC のノイズ耐性能力を証明するための統計分析も提供します。
対称、非対称、インスタンス依存、現実世界のノイズなど、さまざまなタイプのラベル ノイズにわたる広範な実験により、私たちのアプローチの有効性が実証されています。

要約(オリジナル)

Previous research has shown that constraining the gradient of loss function with respect to model-predicted probabilities can enhance the model robustness against noisy labels. These methods typically specify a fixed optimal threshold for gradient clipping through validation data to obtain the desired robustness against noise. However, this common practice overlooks the dynamic distribution of gradients from both clean and noisy-labeled samples at different stages of training, significantly limiting the model capability to adapt to the variable nature of gradients throughout the training process. To address this issue, we propose a simple yet effective approach called Optimized Gradient Clipping (OGC), which dynamically adjusts the clipping threshold based on the ratio of noise gradients to clean gradients after clipping, estimated by modeling the distributions of clean and noisy samples. This approach allows us to modify the clipping threshold at each training step, effectively controlling the influence of noise gradients. Additionally, we provide statistical analysis to certify the noise-tolerance ability of OGC. Our extensive experiments across various types of label noise, including symmetric, asymmetric, instance-dependent, and real-world noise, demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google