Instance-Dependent Noisy Label Learning via Graphical Modelling

要約

ディープラーニングのエコシステムでは、モデルが簡単にオーバーフィットしてしまうため、ラベルのノイズは避けられないが厄介なものである。ラベルノイズには、対称型、非対称型、インスタンス依存型ノイズ（IDN）など多くの種類があり、IDNは画像情報に依存する唯一のタイプである。ラベリングの誤りは、画像中の視覚的クラスに関する情報の不足や曖昧さによって引き起こされることが多いため、画像情報に依存するIDNはラベルノイズの中でも特に重要な研究対象である。IDNに対処する効果的な手法を提供することを目的として、我々は識別モデルと生成モデルを組み合わせたInstanceGMと呼ばれる新しいグラフィカルモデリングアプローチを発表する。InstanceGMの主な特徴は、i) 生成モデルの学習に連続ベルヌーイ分布を用いることで、学習の利点を提供すること、ii) 最新のノイズラベル識別分類器を用いて、インスタンス依存のノイズラベルサンプルからクリーンラベルを生成することである。InstanceGMは、特に合成および実世界のデータセットを用いたIDNベンチマークにおいて、現在のノイジーラベル学習アプローチと競合し、我々の手法はほとんどの実験において競合他社よりも高い精度を示すことがわかった。

要約(オリジナル)

Noisy labels are unavoidable yet troublesome in the ecosystem of deep learning because models can easily overfit them. There are many types of label noise, such as symmetric, asymmetric and instance-dependent noise (IDN), with IDN being the only type that depends on image information. Such dependence on image information makes IDN a critical type of label noise to study, given that labelling mistakes are caused in large part by insufficient or ambiguous information about the visual classes present in images. Aiming to provide an effective technique to address IDN, we present a new graphical modelling approach called InstanceGM, that combines discriminative and generative models. The main contributions of InstanceGM are: i) the use of the continuous Bernoulli distribution to train the generative model, offering significant training advantages, and ii) the exploration of a state-of-the-art noisy-label discriminative classifier to generate clean labels from instance-dependent noisy-label samples. InstanceGM is competitive with current noisy-label learning approaches, particularly in IDN benchmarks using synthetic and real-world datasets, where our method shows better accuracy than the competitors in most experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL