Pi-DUAL: Using Privileged Information to Distinguish Clean from Noisy Labels

要約

ラベル ノイズはディープ ラーニングに蔓延する問題であり、トレーニング済みモデルの汎化パフォーマンスを損なうことがよくあります。
最近、この問題を軽減する効果的なアプローチとして、特権情報 (PI) (トレーニング中にのみ利用可能でテスト時には利用できない情報) を活用することが浮上しました。
しかし、既存の PI ベースの手法は、ラベル ノイズへの過剰適合を防ぐという点で、PI を使用しない手法よりも一貫して優れた性能を発揮できていません。
この欠陥に対処するために、PI を利用して正常なラベルと間違ったラベルを区別するように設計されたアーキテクチャである Pi-DUAL を導入します。
Pi-DUAL は、出力ロジットを、従来の入力特徴に基づいた予測項と、PI のみの影響を受けるノイズフィッティング項に分解します。
PI によって制御されるゲート メカニズムは、これらの用語の間で焦点を適応的に移動させ、モデルがクリーンなラベルと間違ったラベルの学習パスを暗黙的に分離できるようにします。
経験的に、Pi-DUAL は主要な PI ベンチマークで大幅なパフォーマンス向上 (例: ImageNet-PI で +6.8%) を達成し、新しい最先端のテスト セット精度を確立しました。
さらに、Pi-DUAL はトレーニング後にノイズの多いサンプルを特定するための強力な方法であり、このタスクでは他の強力な方法よりも優れています。
全体として、Pi-DUAL は、PI を使用したさまざまな現実のシナリオにおけるラベル ノイズの影響を軽減するための、シンプルでスケーラブルで実用的なアプローチです。

要約(オリジナル)

Label noise is a pervasive problem in deep learning that often compromises the generalization performance of trained models. Recently, leveraging privileged information (PI) — information available only during training but not at test time — has emerged as an effective approach to mitigate this issue. Yet, existing PI-based methods have failed to consistently outperform their no-PI counterparts in terms of preventing overfitting to label noise. To address this deficiency, we introduce Pi-DUAL, an architecture designed to harness PI to distinguish clean from wrong labels. Pi-DUAL decomposes the output logits into a prediction term, based on conventional input features, and a noise-fitting term influenced solely by PI. A gating mechanism steered by PI adaptively shifts focus between these terms, allowing the model to implicitly separate the learning paths of clean and wrong labels. Empirically, Pi-DUAL achieves significant performance improvements on key PI benchmarks (e.g., +6.8% on ImageNet-PI), establishing a new state-of-the-art test set accuracy. Additionally, Pi-DUAL is a potent method for identifying noisy samples post-training, outperforming other strong methods at this task. Overall, Pi-DUAL is a simple, scalable and practical approach for mitigating the effects of label noise in a variety of real-world scenarios with PI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google