Forming Auxiliary High-confident Instance-level Loss to Promote Learning from Label Proportions

要約

ラベル比率からの学習 (LLP)、つまり、挑戦的な弱教師学習タスクは、各インスタンスの注釈付きラベルではなく、インスタンスのバッグとバッグ内のクラスの比率を使用して分類器をトレーニングすることを目的としています。
従来のバッグレベルの損失を超えて、LLP の主流の方法論は、予測によって形成された疑似ラベルを使用して補助的なインスタンスレベルの損失を組み込むことです。
残念ながら、特にバッグ サイズが大きいシナリオでは、過剰な平滑化によって擬似ラベルが不正確になることが多く、分類器の誘導に悪影響を与えることが経験的に観察されました。
この問題を軽減するために、新しい LLP 手法、つまり補助的な高信頼インスタンスレベル損失を伴うラベル比率からの学習 (L^2P-AHIL) を提案します。
具体的には、擬似ラベルの信頼度を適応的に測定するデュアルエントロピーベースの重み（DEW）法を提案します。
同時にバッグレベルでの正確な予測を強調し、過度に平滑化された予測を回避します。
次に、DEW を使用して信頼性の高いインスタンス レベルの損失を形成し、自己トレーニング方式でバッグ レベルの損失と共同で最適化します。
ベンチマーク データセットの実験結果は、L^2P-AHIL が既存のベースライン手法を上回る可能性があり、バッグ サイズが増加するにつれてパフォーマンスの向上がより顕著になる可能性があることを示しています。

要約(オリジナル)

Learning from label proportions (LLP), i.e., a challenging weakly-supervised learning task, aims to train a classifier by using bags of instances and the proportions of classes within bags, rather than annotated labels for each instance. Beyond the traditional bag-level loss, the mainstream methodology of LLP is to incorporate an auxiliary instance-level loss with pseudo-labels formed by predictions. Unfortunately, we empirically observed that the pseudo-labels are are often inaccurate due to over-smoothing, especially for the scenarios with large bag sizes, hurting the classifier induction. To alleviate this problem, we suggest a novel LLP method, namely Learning from Label Proportions with Auxiliary High-confident Instance-level Loss (L^2P-AHIL). Specifically, we propose a dual entropy-based weight (DEW) method to adaptively measure the confidences of pseudo-labels. It simultaneously emphasizes accurate predictions at the bag level and avoids overly smoothed predictions. We then form high-confident instance-level loss with DEW, and jointly optimize it with the bag-level loss in a self-training manner. The experimental results on benchmark datasets show that L^2P-AHIL can surpass the existing baseline methods, and the performance gain can be more significant as the bag size increases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google