In Quest of Ground Truth: Learning Confident Models and Estimating Uncertainty in the Presence of Annotator Noise

要約

ディープ ラーニング (DL) モデルのパフォーマンスは、ラベルの品質に依存します。
一部の領域では、ヒューマン・アノテーターの関与がデータのノイズにつながる可能性があります。
これらの破損したラベルが盲目的にグラウンド トゥルース (GT) と見なされると、DL モデルはパフォーマンスの低下に悩まされます。
この論文では、ノイズの多いラベルの存在下で信頼できるモデルを学習することを目的とした方法を提示します。
これは、複数のアノテーターの不確実性の推定と併せて行われます。
分類器ネットワークにエントロピーまたは情報ベースの正則化器を追加することにより、ノイズの多いラベルのみが与えられた予測をロバストに推定します。
MNIST、CIFAR-10、および FMNIST データセットのノイズの多いバージョンで実験を行います。
私たちの経験的結果は、他の最先端の（SOTA）方法よりも優れているか、同等に機能するため、この方法の堅牢性を示しています。
さらに、さまざまなアノテーターのノイズの種類とレベルが入力画像のスタイルに依存する、精選されたデータセットで提案された方法を評価しました。
私たちのアプローチがうまく機能し、アノテーターの混乱を学習することに長けていることを示します。
さらに、モデルが他のベースラインよりも GT の予測に自信を持っていることを示しています。
最後に、セグメンテーションの問題に対するアプローチを評価し、実験でその有効性を示します。

要約(オリジナル)

The performance of the Deep Learning (DL) models depends on the quality of labels. In some areas, the involvement of human annotators may lead to noise in the data. When these corrupted labels are blindly regarded as the ground truth (GT), DL models suffer from performance deficiency. This paper presents a method that aims to learn a confident model in the presence of noisy labels. This is done in conjunction with estimating the uncertainty of multiple annotators. We robustly estimate the predictions given only the noisy labels by adding entropy or information-based regularizer to the classifier network. We conduct our experiments on a noisy version of MNIST, CIFAR-10, and FMNIST datasets. Our empirical results demonstrate the robustness of our method as it outperforms or performs comparably to other state-of-the-art (SOTA) methods. In addition, we evaluated the proposed method on the curated dataset, where the noise type and level of various annotators depend on the input image style. We show that our approach performs well and is adept at learning annotators’ confusion. Moreover, we demonstrate how our model is more confident in predicting GT than other baselines. Finally, we assess our approach for segmentation problem and showcase its effectiveness with experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google