Low-Resource Multi-Granularity Academic Function Recognition Based on Multiple Prompt Knowledge

要約

タイトル：マルチプロンプト知識に基づく低資源多グラニュリティの学術機能認識

要約：
– 既存の言語モデルの改善には多数の注釈付きデータが必要であるという課題を解決するため、多くの最新技術のような、マルチプロンプトに関する発展がある。
– 本論文では、MPT（Mix Prompt Tuning）を提案し、多くの注釈のついたデータが必要なくても、少数のラベル付きの例で多グラニュリティの学術的機能認識を改善できるようにするセミスーパーバイズド方法を詳しく説明している。
– この方法は、手動でのプロンプト テンプレートと自動的に習得されたプロンプト テンプレートの両方を組み合わせて複数の観点から表現を提供することで、科学的ドメインでの PLMs の知識を最大限に活用できるようにします。これらのプロンプト テンプレートと fine-tuned PLM に基づいて、多数の擬似ラベルを無ラベルの例に割り当てます。最後に、擬似訓練セットを使用してPLMをチューニングし直します。
– 結果的に、コンピュータサイエンスおよびバイオメディカルドメインのデータセットを用い、本方法を3つの異なるグラニュリティの学術機能認識タスクに適用したところ、強力なベースラインに比べて 5% の平均マクロ F1 スコアの向上を達成し、低資源設定下での他のセミスーパーバイズド方法と比較して 6% の平均マクロ F1 スコアの向上を達成した。さらに、MPT は他の低資源科学的分類タスクにも容易に適用できる一般的な方法である。

要約(オリジナル)

Fine-tuning pre-trained language models (PLMs), e.g., SciBERT, generally requires large numbers of annotated data to achieve state-of-the-art performance on a range of NLP tasks in the scientific domain. However, obtaining the fine-tune data for scientific NLP task is still challenging and expensive. Inspired by recent advancement in prompt learning, in this paper, we propose the Mix Prompt Tuning (MPT), which is a semi-supervised method to alleviate the dependence on annotated data and improve the performance of multi-granularity academic function recognition tasks with a small number of labeled examples. Specifically, the proposed method provides multi-perspective representations by combining manual prompt templates with automatically learned continuous prompt templates to help the given academic function recognition task take full advantage of knowledge in PLMs. Based on these prompt templates and the fine-tuned PLM, a large number of pseudo labels are assigned to the unlabeled examples. Finally, we fine-tune the PLM using the pseudo training set. We evaluate our method on three academic function recognition tasks of different granularity including the citation function, the abstract sentence function, and the keyword function, with datasets from computer science domain and biomedical domain. Extensive experiments demonstrate the effectiveness of our method and statistically significant improvements against strong baselines. In particular, it achieves an average increase of 5% in Macro-F1 score compared with fine-tuning, and 6% in Macro-F1 score compared with other semi-supervised method under low-resource settings. In addition, MPT is a general method that can be easily applied to other low-resource scientific classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI