Partial Label Supervision for Agnostic Generative Noisy Label Learning

要約

ノイズの多いラベル学習は、識別アプローチと生成アプローチの両方で取り組まれてきました。
識別手法の単純さと効率にもかかわらず、生成モデルは、クリーンなラベルとノイズのあるラベルを解きほぐし、ラベル遷移行列を推定するためのより原理的な方法を提供します。
しかし、既存の生成手法では、多くの場合、コストのかかる生成モジュールやヒューリスティックな仮定を通じて追加の潜在変数を推論する必要があり、さまざまな因果方向に対する適応的な最適化が妨げられます。
また、事前に均一なクリーンラベルを仮定していますが、これはサンプルごとのクリーンラベルの分布と不確実性を反映していません。
この論文では、これらの課題に対処する、生成的なノイズを含むラベル学習のための新しいフレームワークを提案します。
まず、識別分類器の出力による画像生成を直接近似する、新しい 1 段階の最適化を提案します。
この近似により、画像生成の計算コストが大幅に削減され、生成モデリングの利点が維持され、フレームワークがさまざまな因果関係シナリオ (つまり、画像生成ラベルまたはその逆) に関して不可知論的になることが可能になります。
2 番目に、クリーンなラベル カバレッジと不確実性の両方を考慮した、ノイズの多いラベル学習のための新しい部分ラベル監視 (PLS) を導入します。
PLS の監督は、単に損失を最小限に抑えることを目的とするのではなく、根底にあるサンプルごとのクリーンなラベルの分布と不確実性を把握することを目指しています。
コンピューター ビジョンと自然言語処理 (NLP) ベンチマークに関する広範な実験により、当社の生成モデリングが計算コストを大幅に削減しながら最先端の結果を達成できることが実証されました。
私たちのコードは https://github.com/lfb-1/GNL で入手できます。

要約(オリジナル)

Noisy label learning has been tackled with both discriminative and generative approaches. Despite the simplicity and efficiency of discriminative methods, generative models offer a more principled way of disentangling clean and noisy labels and estimating the label transition matrix. However, existing generative methods often require inferring additional latent variables through costly generative modules or heuristic assumptions, which hinder adaptive optimisation for different causal directions. They also assume a uniform clean label prior, which does not reflect the sample-wise clean label distribution and uncertainty. In this paper, we propose a novel framework for generative noisy label learning that addresses these challenges. First, we propose a new single-stage optimisation that directly approximates image generation by a discriminative classifier output. This approximation significantly reduces the computation cost of image generation, preserves the generative modelling benefits, and enables our framework to be agnostic in regards to different causality scenarios (i.e., image generate label or vice-versa). Second, we introduce a new Partial Label Supervision (PLS) for noisy label learning that accounts for both clean label coverage and uncertainty. The supervision of PLS does not merely aim at minimising loss, but seeks to capture the underlying sample-wise clean label distribution and uncertainty. Extensive experiments on computer vision and natural language processing (NLP) benchmarks demonstrate that our generative modelling achieves state-of-the-art results while significantly reducing the computation cost. Our code is available at https://github.com/lfb-1/GNL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google