FPT: Feature Prompt Tuning for Few-shot Readability Assessment

要約

プロンプトベースの手法は、ほとんどのショット数の少ないテキスト分類タスクで有望な結果を達成しています。
しかし、可読性評価タスクの場合、従来のプロンプト手法には、不可欠であることがすでに証明されている重要な言語知識が欠けています。
さらに、言語特徴の利用に関するこれまでの研究では、ショット数の少ない設定ではパフォーマンスがロバストではなく、モデルのパフォーマンスを損なう可能性さえあることが示されています。これらの問題に対処するために、私たちは、豊富な言語知識を組み込んだ新しいプロンプトベースのチューニング フレームワークを提案します。これは、特徴プロンプト チューニングと呼ばれます。
(FPT)。
具体的には、テキストから言語的特徴を抽出し、それらをトレーニング可能なソフト プロンプトに埋め込みます。
さらに、カテゴリ間の類似性のランキング順序を調整するための新しい損失関数を考案しました。
実験結果は、私たちが提案したメソッド FTP が、これまでの最適なプロンプトベースのチューニング アプローチと比較して大幅なパフォーマンスの向上を示すだけでなく、言語機能を組み込んだ以前の主要なメソッドをも上回ることを示しています。
また、私たちが提案したモデルは、ほとんどの場合、大規模言語モデル gpt-3.5-turbo-16k を大幅に上回ります。
私たちが提案した方法は、言語機能を言語関連タスクにどのように簡単に適応させることができるかを明らかにする、迅速な調整のための新しいアーキテクチャを確立します。

要約(オリジナル)

Prompt-based methods have achieved promising results in most few-shot text classification tasks. However, for readability assessment tasks, traditional prompt methods lackcrucial linguistic knowledge, which has already been proven to be essential. Moreover, previous studies on utilizing linguistic features have shown non-robust performance in few-shot settings and may even impair model performance.To address these issues, we propose a novel prompt-based tuning framework that incorporates rich linguistic knowledge, called Feature Prompt Tuning (FPT). Specifically, we extract linguistic features from the text and embed them into trainable soft prompts. Further, we devise a new loss function to calibrate the similarity ranking order between categories. Experimental results demonstrate that our proposed method FTP not only exhibits a significant performance improvement over the prior best prompt-based tuning approaches, but also surpasses the previous leading methods that incorporate linguistic features. Also, our proposed model significantly outperforms the large language model gpt-3.5-turbo-16k in most cases. Our proposed method establishes a new architecture for prompt tuning that sheds light on how linguistic features can be easily adapted to linguistic-related tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google