CitePrompt: Using Prompts to Identify Citation Intent in Scientific Papers

要約

タイトル：科学論文における引用意図の同定にプロンプトを使用するCitePrompt

要約：
– 科学論文の引用は知的系譜を辿るのに役立つだけでなく、その研究の科学的重要性の指標でもある。
– 引用意図は、与えられた文脈で引用の役割を具体的に示すために有用である。
– 本論文では、引用意図分類のための、従来未開拓のプロンプトベースの学習手法を用いたフレームワーク、CitePromptを提案する。
– 適切な事前学習済み言語モデルの選択、プロンプトテンプレート、プロンプトバーバライザの選択により、科学文書に関する外部情報を遥かに少なく使用して、最新の手法と同等以上の結果を得ることができると主張する。
– ACL-ARCデータセットにおいて最新の結果を報告し、SciCiteデータセットに対しても、1つのベースラインモデルを除いて全てのベースラインモデルに対して大幅な改善を示します。
– 引用意図分類のために十分に大きなラベル付きデータセットを見つけることが難しいため、最初に、このタスクをfew-shotおよびzero-shot設定に変換することを提案する。
– ACL-ARCデータセットに対して、zero-shot設定に対しては53.86％のF1スコアを報告し、5-shotおよび10-shot設定に対してはそれぞれ63.61％および66.99％に向上します。

要約(オリジナル)

Citations in scientific papers not only help us trace the intellectual lineage but also are a useful indicator of the scientific significance of the work. Citation intents prove beneficial as they specify the role of the citation in a given context. In this paper, we present CitePrompt, a framework which uses the hitherto unexplored approach of prompt-based learning for citation intent classification. We argue that with the proper choice of the pretrained language model, the prompt template, and the prompt verbalizer, we can not only get results that are better than or comparable to those obtained with the state-of-the-art methods but also do it with much less exterior information about the scientific document. We report state-of-the-art results on the ACL-ARC dataset, and also show significant improvement on the SciCite dataset over all baseline models except one. As suitably large labelled datasets for citation intent classification can be quite hard to find, in a first, we propose the conversion of this task to the few-shot and zero-shot settings. For the ACL-ARC dataset, we report a 53.86% F1 score for the zero-shot setting, which improves to 63.61% and 66.99% for the 5-shot and 10-shot settings, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI