Learning with Noisy Labels by Adaptive Gradient-Based Outlier Removal

要約

信頼性が高くパフォーマンスの高いモデルをトレーニングするには、正確で充実したデータセットが必要です。
ただし、自動的にラベル付けされたデータセットはもちろんのこと、手動でラベル付けされたデータセットにもエラーが含まれています。
データのノイズ除去の問題は、さまざまな既存の研究で取り上げられていますが、そのほとんどは外れ値の検出とその永久的な除去、つまりデータセットのフィルタリングが過剰または不十分になる可能性が高いプロセスに焦点を当てています。
この研究では、Adaptive GRAdient ベースの外れ値除去のための新しい手法である AGRA を提案します。
モデルのトレーニング前にデータセットをクリーンアップする代わりに、データセットはトレーニング プロセス中に調整されます。
サンプルのバッチの集計された勾配と個々の例の勾配を比較することにより、このメソッドは、対応する例がこの時点でモデルにとって役立つか、それとも逆効果で現在の更新から除外する必要があるかを動的に決定します。
いくつかのデータセットに対する広範な評価により、AGRA の有効性が証明されていますが、包括的な結果分析により、私たちの最初の仮説が裏付けられています。つまり、恒久的なハード外れ値の除去が必ずしもモデルに最もメリットをもたらすわけではありません。

要約(オリジナル)

An accurate and substantial dataset is necessary to train a reliable and well-performing model. However, even manually labeled datasets contain errors, not to mention automatically labeled ones. The problem of data denoising was addressed in different existing research, most of which focuses on the detection of outliers and their permanent removal – a process that is likely to over- or underfilter the dataset. In this work, we propose AGRA: a new method for Adaptive GRAdient-based outlier removal. Instead of cleaning the dataset prior to model training, the dataset is adjusted during the training process. By comparing the aggregated gradient of a batch of samples and an individual example gradient, our method dynamically decides whether a corresponding example is helpful for the model at this point or is counter-productive and should be left out for the current update. Extensive evaluation on several datasets demonstrates the AGRA effectiveness, while comprehensive results analysis supports our initial hypothesis: permanent hard outlier removal is not always what model benefits the most from.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google