Multi-Label Contrastive Learning : A Comprehensive Study

要約

1つの入力に複数のラベルを割り当てるマルチラベル分類は、その応用範囲の広さから、研究・産業の両面で重要な分野として浮上している。効果的な損失関数の設計は、モデルの性能と効率に大きく影響するため、このタスクにディープニューラルネットワークを最適化する上で極めて重要である。ラベルの独立性を仮定して尤度を最大化することが多い従来の損失関数は、複雑なラベルの関係を捉えるのに苦労することがある。最近の研究では、教師ありの対照学習（supervised contrastive learning）が注目されている。これは、類似のインスタンスを近づけ、非類似のインスタンスを遠ざけることで、構造化された表現空間を作り出すことを目的とした手法である。対比学習は有望なアプローチであるが、これをマルチラベル分類に適用すると、特にラベルの相互作用とデータ構造の管理において、ユニークな課題が生じる。 本稿では、様々な環境におけるマルチラベル分類のためのコントラスト学習の損失について詳細な研究を行う。これには、ラベル数が少ないデータセットと多いデータセットの両方、学習データ量が異なるデータセット、コンピュータビジョンと自然言語処理の両方のアプリケーションなどが含まれる。 我々の実証結果は、対照学習の有望な成果は、ラベルの相互作用を考慮するだけでなく、対照損失のロバストな最適化スキームに起因することを示している。さらに、教師ありの対照的損失関数は、少数のラベルを含むデータセットやランキングベースのメトリクスでは課題に直面するが、多数のラベルを含むデータセットでは、特にMacro-F1の点で優れた性能を示す。

要約(オリジナル)

Multi-label classification, which involves assigning multiple labels to a single input, has emerged as a key area in both research and industry due to its wide-ranging applications. Designing effective loss functions is crucial for optimizing deep neural networks for this task, as they significantly influence model performance and efficiency. Traditional loss functions, which often maximize likelihood under the assumption of label independence, may struggle to capture complex label relationships. Recent research has turned to supervised contrastive learning, a method that aims to create a structured representation space by bringing similar instances closer together and pushing dissimilar ones apart. Although contrastive learning offers a promising approach, applying it to multi-label classification presents unique challenges, particularly in managing label interactions and data structure. In this paper, we conduct an in-depth study of contrastive learning loss for multi-label classification across diverse settings. These include datasets with both small and large numbers of labels, datasets with varying amounts of training data, and applications in both computer vision and natural language processing. Our empirical results indicate that the promising outcomes of contrastive learning are attributable not only to the consideration of label interactions but also to the robust optimization scheme of the contrastive loss. Furthermore, while the supervised contrastive loss function faces challenges with datasets containing a small number of labels and ranking-based metrics, it demonstrates excellent performance, particularly in terms of Macro-F1, on datasets with a large number of labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL