Logistic-Normal Likelihoods for Heteroscedastic Label Noise in Classification

要約

タイトル：ロジスティック-正規尤度を用いた異分散ラベルノイズの分類への応用

要約：
– 回帰において異分散ラベルノイズを推定する自然な方法は、ノイズの影響を受けた観測値を、パラメータを負の対数尤度を最小化して学習する正規分布のサンプルと見なすことである。
– この損失関数は、高誤差の例の寄与を減らすことで望ましい損失緩和特性を持っており、過学習を減らすことでラベルノイズに対する強さを向上させることができる。
– 本論文では、この単純で確率的なアプローチを分類に拡張し、同じ損失緩和特性を持つ方法を提案する。
– 分類におけるラベルノイズに対する強さを測定することにより、本手法の有効性を評価する。
– ハイパーパラメータの感度、欠落研究など、本手法の内部動作を探る解明的な実験を行う。

要約(オリジナル)

A natural way of estimating heteroscedastic label noise in regression is to model the observed (potentially noisy) target as a sample from a normal distribution, whose parameters can be learned by minimizing the negative log-likelihood. This loss has desirable loss attenuation properties, as it can reduce the contribution of high-error examples. Intuitively, this behavior can improve robustness against label noise by reducing overfitting. We propose an extension of this simple and probabilistic approach to classification that has the same desirable loss attenuation properties. We evaluate the effectiveness of the method by measuring its robustness against label noise in classification. We perform enlightening experiments exploring the inner workings of the method, including sensitivity to hyperparameters, ablation studies, and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI