Instance-specific Label Distribution Regularization for Learning with Label Noise

要約

ノイズ遷移行列のモデリングは、ラベル ノイズを学習するための有望な方法の 1 つです。
推定されたノイズ遷移行列とノイズ事後確率に基づいて、この論文ではまとめてラベル分布 (LD) と呼ばれるクリーン事後確率を教師として計算できます。
ノイズ遷移行列を確実に推定するために、一部の方法では、トレーニング中にアンカー ポイントが利用可能であると想定しています。
それにもかかわらず、アンカー ポイントが無効な場合、ノイズ遷移行列の学習が不十分で、パフォーマンスが低下する可能性があります。
したがって、他の方法では、トレーニング データから抽出された信頼できるデータ ポイントを疑似アンカー ポイントとして扱います。
ただし、統計的な観点からは、ノイズ遷移行列は、クリーン ラベル支配の仮定の下でノイズ ラベルを持つデータから推測できます。
したがって、（疑似）アンカーポイントなしでノイズ遷移行列を推定することを目指しています。
サンプルが他の同様のクラス ラベルとして誤ってラベル付けされる可能性が高いことを示す証拠があります。これは、誤ってラベル付けされる確率がクラス間相関と高度に相関していることを意味します。
この観察に着想を得て、DCNN がノイズの多いラベルを記憶するのを防ぐために、インスタンス固有の LD が監督として推定されるインスタンス固有のラベル配布正則化 (LDR) を提案します。
具体的には、ノイズの多いラベルの管理下でノイズの多い事後分布を推定し、アンカー ポイントも疑似アンカー ポイントも使用しないクラス間相関行列を推定することにより、バッチ レベルのノイズ遷移行列を近似します。
2 つの合成ノイズ データセットと 2 つの現実世界のノイズ データセットに関する実験結果は、LDR が既存の方法よりも優れていることを示しています。

要約(オリジナル)

Modeling noise transition matrix is a kind of promising method for learning with label noise. Based on the estimated noise transition matrix and the noisy posterior probabilities, the clean posterior probabilities, which are jointly called Label Distribution (LD) in this paper, can be calculated as the supervision. To reliably estimate the noise transition matrix, some methods assume that anchor points are available during training. Nonetheless, if anchor points are invalid, the noise transition matrix might be poorly learned, resulting in poor performance. Consequently, other methods treat reliable data points, extracted from training data, as pseudo anchor points. However, from a statistical point of view, the noise transition matrix can be inferred from data with noisy labels under the clean-label-domination assumption. Therefore, we aim to estimate the noise transition matrix without (pseudo) anchor points. There is evidence showing that samples are more likely to be mislabeled as other similar class labels, which means the mislabeling probability is highly correlated with the inter-class correlation. Inspired by this observation, we propose an instance-specific Label Distribution Regularization (LDR), in which the instance-specific LD is estimated as the supervision, to prevent DCNNs from memorizing noisy labels. Specifically, we estimate the noisy posterior under the supervision of noisy labels, and approximate the batch-level noise transition matrix by estimating the inter-class correlation matrix with neither anchor points nor pseudo anchor points. Experimental results on two synthetic noisy datasets and two real-world noisy datasets demonstrate that our LDR outperforms existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google