Label prompt for multi-label text classification

要約

マルチラベル テキスト分類における主な問題の 1 つは、ラベル間の相関関係をどのように利用するかです。
ただし、複雑で未知のラベル空間でラベル間の相関を直接モデル化することは非常に困難です。
この論文では、言語モデルの穴埋め問題のアイデアに触発されたラベル マスク マルチラベル テキスト分類モデル (LM-MTC) を提案します。
LM-MTC は、事前トレーニング言語モデルの強力な機能を通じて、ラベル間の暗黙的な関係を捉えることができます。
それに基づいて、潜在的なラベルごとに異なるトークンを割り当て、特定の確率でトークンをランダムにマスクして、ラベルベースのマスク言語モデル (MLM) を構築します。
MTC と MLM を一緒にトレーニングし、モデルの一般化能力をさらに向上させます。
複数のデータセットに対する多数の実験は、私たちの方法の有効性を示しています。

要約(オリジナル)

One of the key problems in multi-label text classification is how to take advantage of the correlation among labels. However, it is very challenging to directly model the correlations among labels in a complex and unknown label space. In this paper, we propose a Label Mask multi-label text classification model (LM-MTC), which is inspired by the idea of cloze questions of language model. LM-MTC is able to capture implicit relationships among labels through the powerful ability of pre-train language models. On the basis, we assign a different token to each potential label, and randomly mask the token with a certain probability to build a label based Masked Language Model (MLM). We train the MTC and MLM together, further improving the generalization ability of the model. A large number of experiments on multiple datasets demonstrate the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google