Low-Resource Multi-Granularity Academic Function Recognition Based on Multiple Prompt Knowledge

要約

SciBERT などの事前トレーニング済み言語モデル (PLM) を微調整するには、一般に、科学分野のさまざまな NLP タスクで最先端のパフォーマンスを達成するために、大量の注釈付きデータが必要です。
ただし、科学的な NLP タスク用の微調整データを取得することは依然として困難であり、費用がかかります。
プロンプト学習の最近の進歩に触発されて、この論文では、ミックス プロンプト チューニング (MPT) を提案します。これは、注釈付きデータへの依存を軽減し、多粒度の学術機能認識タスクのパフォーマンスを向上させる半教師あり手法です。
少数のラベル付きサンプル。
具体的には、提案された方法は、手動プロンプト テンプレートと自動学習された連続プロンプト テンプレートを組み合わせることによって多視点表現を提供し、特定の学術機能認識タスクが PLM の知識を最大限に活用できるようにします。
これらのプロンプト テンプレートと微調整された PLM に基づいて、ラベルのないサンプルに多数の疑似ラベルが割り当てられます。
最後に、擬似トレーニング セットを使用して PLM を微調整します。
コンピューターサイエンス領域と生物医学領域からのデータセットを使用して、引用関数、要約文関数、キーワード関数を含む、粒度の異なる 3 つの学術関数認識タスクでメソッドを評価します。
広範な実験により、私たちの方法の有効性と、強力なベースラインに対する統計的に有意な改善が実証されました。
特に、低リソース設定では、微調整と比較して Macro-F1 スコアが平均 5% 増加し、他の半教師あり手法と比較して Macro-F1 スコアが 6% 増加しました。
さらに、MPT は、他のリソースの少ない科学的分類タスクにも簡単に適用できる一般的な方法です。

要約(オリジナル)

Fine-tuning pre-trained language models (PLMs), e.g., SciBERT, generally requires large numbers of annotated data to achieve state-of-the-art performance on a range of NLP tasks in the scientific domain. However, obtaining the fine-tune data for scientific NLP task is still challenging and expensive. Inspired by recent advancement in prompt learning, in this paper, we propose the Mix Prompt Tuning (MPT), which is a semi-supervised method to alleviate the dependence on annotated data and improve the performance of multi-granularity academic function recognition tasks with a small number of labeled examples. Specifically, the proposed method provides multi-perspective representations by combining manual prompt templates with automatically learned continuous prompt templates to help the given academic function recognition task take full advantage of knowledge in PLMs. Based on these prompt templates and the fine-tuned PLM, a large number of pseudo labels are assigned to the unlabeled examples. Finally, we fine-tune the PLM using the pseudo training set. We evaluate our method on three academic function recognition tasks of different granularity including the citation function, the abstract sentence function, and the keyword function, with datasets from computer science domain and biomedical domain. Extensive experiments demonstrate the effectiveness of our method and statistically significant improvements against strong baselines. In particular, it achieves an average increase of 5% in Macro-F1 score compared with fine-tuning, and 6% in Macro-F1 score compared with other semi-supervised method under low-resource settings. In addition, MPT is a general method that can be easily applied to other low-resource scientific classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google