RulePrompt: Weakly Supervised Text Classification with Prompting PLMs and Self-Iterative Logical Rules

要約

ゼロショット テキスト分類またはデータレス テキスト分類とも呼ばれる弱教師ありテキスト分類 (WSTC) は、限られたシード ワード セットのみを必要とするため、動的でオープンな Web 環境内で大量のテキストを分類するのに適用できるため、ますます注目を集めています。
ラベル付きデータの代わりに、各カテゴリの (ラベル名)。
最近人気のプロンプトの事前トレーニング済み言語モデル (PLM) の助けを借りて、多くの研究では手動で作成された言語モデルや自動識別された言語化ツールを利用してカテゴリの可能性を推定しましたが、カテゴリを示す単語の効果を区別することはできませんでした。
それらの相関関係を捉え、ラベルなしコーパスに応じた適応的な調整を実現します。
この論文では、PLM が各カテゴリを効果的に理解できるようにするために、まず、論理式を使用してカテゴリの意味を特徴付ける新しい形式のルールベースの知識を提案します。
次に、WSTC タスク用に RulePrompt という名前のプロンプト PLM ベースのアプローチを開発します。これは、ルール マイニング モジュールとルール拡張疑似ラベル生成モジュールに加えて、PLM をこのタスクに合わせるための自己監視型微調整モジュールで構成されます。
。
このフレームワーク内では、テキストに割り当てられた不正確な擬似ラベルと、カテゴリに関連付けられた不正確な論理規則が、別の方法で相互に強化されます。
これにより、シードワードを開始点として、知識 (ルール) の取得と利用の自己反復的な閉ループが確立されます。
広範な実験により、私たちのアプローチの有効性と堅牢性が検証され、最先端の弱い教師付き手法を著しく上回ります。
さらに、私たちのアプローチは解釈可能なカテゴリールールを生成し、混同されやすいカテゴリーを明確にする上でその利点を証明しています。

要約(オリジナル)

Weakly supervised text classification (WSTC), also called zero-shot or dataless text classification, has attracted increasing attention due to its applicability in classifying a mass of texts within the dynamic and open Web environment, since it requires only a limited set of seed words (label names) for each category instead of labeled data. With the help of recently popular prompting Pre-trained Language Models (PLMs), many studies leveraged manually crafted and/or automatically identified verbalizers to estimate the likelihood of categories, but they failed to differentiate the effects of these category-indicative words, let alone capture their correlations and realize adaptive adjustments according to the unlabeled corpus. In this paper, in order to let the PLM effectively understand each category, we at first propose a novel form of rule-based knowledge using logical expressions to characterize the meanings of categories. Then, we develop a prompting PLM-based approach named RulePrompt for the WSTC task, consisting of a rule mining module and a rule-enhanced pseudo label generation module, plus a self-supervised fine-tuning module to make the PLM align with this task. Within this framework, the inaccurate pseudo labels assigned to texts and the imprecise logical rules associated with categories mutually enhance each other in an alternative manner. That establishes a self-iterative closed loop of knowledge (rule) acquisition and utilization, with seed words serving as the starting point. Extensive experiments validate the effectiveness and robustness of our approach, which markedly outperforms state-of-the-art weakly supervised methods. What is more, our approach yields interpretable category rules, proving its advantage in disambiguating easily-confused categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google