FPT: Feature Prompt Tuning for Few-shot Readability Assessment

要約

プロンプトに基づく方法は、ほとんどの少数ショットのテキスト分類タスクにおいて有望な結果を達成している。しかし、読みやすさの評価タスクでは、従来のプロンプト手法は、既に不可欠であることが証明されている重要な言語的知識を欠いている。さらに、言語的特徴の利用に関する先行研究では、少数ショットの設定においてロバストでない性能が示されており、モデルの性能を損なう可能性さえある。これらの問題に対処するために、我々は、特徴プロンプトチューニング（FPT）と呼ばれる、豊富な言語的知識を組み込んだ新しいプロンプトベースのチューニングフレームワークを提案する。具体的には、テキストから言語的特徴を抽出し、学習可能なソフトプロンプトに埋め込む。さらに、カテゴリ間の類似度ランキング順序を較正するための新しい損失関数を考案する。実験の結果、提案手法FTPは、プロンプトベースのチューニングアプローチにおいて、先行する最良の手法を大幅に上回る性能を示すだけでなく、言語的特徴を組み込んだ先行手法を凌駕することが実証された。また、提案モデルは、ほとんどの場合において、大規模言語モデルgpt-3.5-turbo-16kを大幅に上回る。提案手法は、プロンプトチューニングのための新しいアーキテクチャを確立し、言語的特徴をどのように言語関連のタスクに容易に適応させることができるかに光を当てる。

要約(オリジナル)

Prompt-based methods have achieved promising results in most few-shot text classification tasks. However, for readability assessment tasks, traditional prompt methods lackcrucial linguistic knowledge, which has already been proven to be essential. Moreover, previous studies on utilizing linguistic features have shown non-robust performance in few-shot settings and may even impair model performance.To address these issues, we propose a novel prompt-based tuning framework that incorporates rich linguistic knowledge, called Feature Prompt Tuning (FPT). Specifically, we extract linguistic features from the text and embed them into trainable soft prompts. Further, we devise a new loss function to calibrate the similarity ranking order between categories. Experimental results demonstrate that our proposed method FTP not only exhibits a significant performance improvement over the prior best prompt-based tuning approaches, but also surpasses the previous leading methods that incorporate linguistic features. Also, our proposed model significantly outperforms the large language model gpt-3.5-turbo-16k in most cases. Our proposed method establishes a new architecture for prompt tuning that sheds light on how linguistic features can be easily adapted to linguistic-related tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL