An Effective Deployment of Contrastive Learning in Multi-label Text Classification

要約

自然言語処理タスクにおける対照学習テクノロジーの有効性はまだ調査および分析されていません。
正と負のサンプルを正確かつ合理的に構築する方法は、対照学習の中心的な課題です。
マルチラベルのテキスト分類タスクで対照的なオブジェクトを発見することはさらに困難です。
以前に提案された対照的な損失はほとんどありません。
この論文では、マルチラベル テキスト分類タスクに対して 5 つの新しい対照的な損失を提案することで、別の角度から問題を調査します。
これらは、厳密コントラスト損失 (SCL)、ラベル内コントラスト損失 (ICL)、Jaccard 類似性コントラスト損失 (JSCL)、Jaccard 類似性確率コントラスト損失 (JSPCL)、およびステップワイズラベルコントラスト損失 (SLCL) です。
これらの新しい損失を利用して、マルチラベル テキスト分類タスクに対する対比学習の有効性を調査し、特定のタスクに対比学習手法を導入するためのベースライン モデルのセットを提供します。
さらに、対照的な学習損失のさまざまな要素がどのように役割を果たすかを示すために、アプローチの解釈可能な分析を実行します。
実験結果は、私たちが提案したコントラスト損失がマルチラベルテキスト分類タスクを改善できることを示しています。
私たちの研究では、対照学習をマルチラベルのテキスト分類タスクにどのように適応させるべきかについても検討しています。

要約(オリジナル)

The effectiveness of contrastive learning technology in natural language processing tasks is yet to be explored and analyzed. How to construct positive and negative samples correctly and reasonably is the core challenge of contrastive learning. It is even harder to discover contrastive objects in multi-label text classification tasks. There are very few contrastive losses proposed previously. In this paper, we investigate the problem from a different angle by proposing five novel contrastive losses for multi-label text classification tasks. These are Strict Contrastive Loss (SCL), Intra-label Contrastive Loss (ICL), Jaccard Similarity Contrastive Loss (JSCL), Jaccard Similarity Probability Contrastive Loss (JSPCL), and Stepwise Label Contrastive Loss (SLCL). We explore the effectiveness of contrastive learning for multi-label text classification tasks by the employment of these novel losses and provide a set of baseline models for deploying contrastive learning techniques on specific tasks. We further perform an interpretable analysis of our approach to show how different components of contrastive learning losses play their roles. The experimental results show that our proposed contrastive losses can bring improvement to multi-label text classification tasks. Our work also explores how contrastive learning should be adapted for multi-label text classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google