A Novel Prompt-tuning Method: Incorporating Scenario-specific Concepts into a Verbalizer

要約

ラベルの単語をクラス ラベルにマッピングするバーバライザーは、プロンプト チューニングの重要なコンポーネントです。
この論文では、言語化ツールを構築するための新しいアプローチを紹介します。
言語化ツールを構築するための既存の方法は、主にクラス名に基づいて同義語や関連語のセットを拡張および洗練することに依存していますが、このパラダイムには狭い視野と抽象化の欠如があり、その結果、ラベルと単語の空間での適用範囲が限られ、偏りが大きくなります。
この問題に対処するために、シナリオ固有の概念を組み込んだラベル単語構築プロセスを提案します。
具体的には、タスク固有のシナリオから豊富な概念をラベル単語の候補として抽出し、その候補をクラスごとのラベル単語のセットに絞り込むための新しいカスケード調整モジュールを開発します。
私たちは、ゼロショット テキスト分類に広く使用されている {5} つのデータセットに対する広範な実験を通じて、提案したアプローチの有効性を評価します。
結果は、私たちの方法が既存の方法よりも優れており、最先端の結果を達成できることを示しています。

要約(オリジナル)

The verbalizer, which serves to map label words to class labels, is an essential component of prompt-tuning. In this paper, we present a novel approach to constructing verbalizers. While existing methods for verbalizer construction mainly rely on augmenting and refining sets of synonyms or related words based on class names, this paradigm suffers from a narrow perspective and lack of abstraction, resulting in limited coverage and high bias in the label-word space. To address this issue, we propose a label-word construction process that incorporates scenario-specific concepts. Specifically, we extract rich concepts from task-specific scenarios as label-word candidates and then develop a novel cascade calibration module to refine the candidates into a set of label words for each class. We evaluate the effectiveness of our proposed approach through extensive experiments on {five} widely used datasets for zero-shot text classification. The results demonstrate that our method outperforms existing methods and achieves state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google