Pushing One Pair of Labels Apart Each Time in Multi-Label Learning: From Single Positive to Full Labels

要約

マルチラベル学習 (MLL) では、コストが高く、知識が限られているため、出現するすべてのオブジェクトに正確に注釈を付けることは非常に困難です。
このような課題に直面した場合、より実用的で安価な代替手段は、サンプルごとに 1 つのポジティブ ラベルのみを提供する必要があるシングル ポジティブ マルチラベル学習 (SPMLL) です。
既存の SPMLL メソッドは、通常、未知のラベルをネガティブと見なします。これにより、必然的にノイズの多いラベルとして偽陰性が導入されます。
さらに深刻なことに、バイナリ クロス エントロピー (BCE) 損失がトレーニングによく使用されますが、これはノイズの多いラベルに対して堅牢ではないことで知られています。
この問題を軽減するために、SPMLL でノイズの多いラベルを適合させる主な原因である負のラベルの支配を防ぐために、毎回ラベルのペアを 1 組だけ離して、SPMLL の目的関数をカスタマイズします。
このようなノイズの多いラベルにさらに対抗するために、ラベル行列の高ランク性を調査します。これにより、さまざまなラベルを引き離すこともできます。
SPMLL から完全なラベルを持つ MLL に直接拡張することにより、両方の設定に適用可能な統一損失が導出されます。
実際のデータセットでの実験では、提案された損失が SPMLL のノイズの多いラベルに対してより堅牢に機能するだけでなく、完全なラベルに対してもうまく機能することが示されています。
さらに、ランクが高いと SPMLL の劇的なパフォーマンスの低下を軽減できることが経験的にわかっています。
最も驚くべきことに、正則化や微調整されたラベル修正がなくても、損失を採用するだけで、ラベルが大幅に不足しているデータセットである CUB で最先端の SPMLL メソッドを打ち負かすことができます。

要約(オリジナル)

In Multi-Label Learning (MLL), it is extremely challenging to accurately annotate every appearing object due to expensive costs and limited knowledge. When facing such a challenge, a more practical and cheaper alternative should be Single Positive Multi-Label Learning (SPMLL), where only one positive label needs to be provided per sample. Existing SPMLL methods usually assume unknown labels as negatives, which inevitably introduces false negatives as noisy labels. More seriously, Binary Cross Entropy (BCE) loss is often used for training, which is notoriously not robust to noisy labels. To mitigate this issue, we customize an objective function for SPMLL by pushing only one pair of labels apart each time to prevent the domination of negative labels, which is the main culprit of fitting noisy labels in SPMLL. To further combat such noisy labels, we explore the high-rankness of label matrix, which can also push apart different labels. By directly extending from SPMLL to MLL with full labels, a unified loss applicable to both settings is derived. Experiments on real datasets demonstrate that the proposed loss not only performs more robustly to noisy labels for SPMLL but also works well for full labels. Besides, we empirically discover that high-rankness can mitigate the dramatic performance drop in SPMLL. Most surprisingly, even without any regularization or fine-tuned label correction, only adopting our loss defeats state-of-the-art SPMLL methods on CUB, a dataset that severely lacks labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google