Learning with Noisy Labels by Adaptive Gradient-Based Outlier Removal

要約

信頼性が高くパフォーマンスの高いモデルをトレーニングするには、正確で充実したデータセットが不可欠です。
ただし、自動的にラベル付けされたデータセットはもちろんのこと、手動でアノテーションが付けられたデータセットにもラベル エラーが含まれています。
ラベルのノイズ除去のこれまでの方法は、主に外れ値の検出とその永久的な除去、つまりデータセットのフィルターが過剰または不足になる可能性が高いプロセスに焦点を当てていました。
この研究では、Adaptive GRAdient ベースの外れ値除去を使用して、ノイズの多いラベルを学習するための新しい方法である AGRA を提案します。
モデルのトレーニング前にデータセットをクリーンアップする代わりに、データセットはトレーニング プロセス中に動的に調整されます。
サンプルのバッチの集計された勾配と個々の例の勾配を比較することにより、このメソッドは、対応する例がこの時点でモデルにとって役立つか、それとも逆効果で現在の更新から除外する必要があるかを動的に決定します。
いくつかのデータセットに対する広範な評価は AGRA の有効性を実証する一方、包括的な結果分析は私たちの最初の仮説を裏付けています。つまり、恒久的なハード外れ値の除去が必ずしもモデルに最も利益をもたらすわけではありません。

要約(オリジナル)

An accurate and substantial dataset is essential for training a reliable and well-performing model. However, even manually annotated datasets contain label errors, not to mention automatically labeled ones. Previous methods for label denoising have primarily focused on detecting outliers and their permanent removal – a process that is likely to over- or underfilter the dataset. In this work, we propose AGRA: a new method for learning with noisy labels by using Adaptive GRAdient-based outlier removal. Instead of cleaning the dataset prior to model training, the dataset is dynamically adjusted during the training process. By comparing the aggregated gradient of a batch of samples and an individual example gradient, our method dynamically decides whether a corresponding example is helpful for the model at this point or is counter-productive and should be left out for the current update. Extensive evaluation on several datasets demonstrates AGRA’s effectiveness, while a comprehensive results analysis supports our initial hypothesis: permanent hard outlier removal is not always what model benefits the most from.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google