Generative Noisy-Label Learning by Implicit Dicriminative Approximation with Partial Label Prior

要約

ノイズの多いラベルを使用した学習は、識別モデルと生成モデルの両方で対処されています。
識別モデルは、より単純なモデリングとより効率的な計算トレーニング プロセスによりこの分野で主流となってきましたが、生成モデルは、クリーンなラベルとノイズのあるラベルを解きほぐし、ラベル遷移行列の推定を改善するためのより効果的な手段を提供します。
ただし、生成的アプローチでは、データとクリーンなラベルを関連付ける目的のモデルを間接的に最適化するだけの複雑な定式化を使用して、ノイズのあるラベルとデータの同時尤度を最大化します。
さらに、これらのアプローチは、トレーニングが困難な生成モデルに依存しており、有益ではないクリーンなラベル事前分布を使用する傾向があります。
この論文では、これら 3 つの問題に対処する新しい生成型ノイズラベル学習アプローチを提案します。
まず、データとクリーンなラベルを直接関連付ける新しいモデルの最適化を提案します。
第 2 に、生成モデルは識別モデルを使用して暗黙的に推定され、生成モデルの非効率なトレーニングが排除されます。
第三に、ノイズの多いラベル学習の監視信号として、部分ラベル学習から事前にインスピレーションを受けた新しい有益なラベルを提案します。
いくつかのノイズのあるラベルのベンチマークに関する広範な実験により、私たちの生成モデルが識別モデルと同様の計算複雑さを維持しながら最先端の結果を提供することが実証されました。

要約(オリジナル)

The learning with noisy labels has been addressed with both discriminative and generative models. Although discriminative models have dominated the field due to their simpler modeling and more efficient computational training processes, generative models offer a more effective means of disentangling clean and noisy labels and improving the estimation of the label transition matrix. However, generative approaches maximize the joint likelihood of noisy labels and data using a complex formulation that only indirectly optimizes the model of interest associating data and clean labels. Additionally, these approaches rely on generative models that are challenging to train and tend to use uninformative clean label priors. In this paper, we propose a new generative noisy-label learning approach that addresses these three issues. First, we propose a new model optimisation that directly associates data and clean labels. Second, the generative model is implicitly estimated using a discriminative model, eliminating the inefficient training of a generative model. Third, we propose a new informative label prior inspired by partial label learning as supervision signal for noisy label learning. Extensive experiments on several noisy-label benchmarks demonstrate that our generative model provides state-of-the-art results while maintaining a similar computational complexity as discriminative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google