CitePrompt: Using Prompts to Identify Citation Intent in Scientific Papers

要約

タイトル：CitePrompt：科学論文で引用意図を特定するためのプロンプトの使用

要約：
– 科学論文にある引用は、知的由来をたどるのに役立つだけでなく、作業の科学的重要性の指標としても利用される。
– 引用意図は、引用の文脈における役割を指定するために役立ちます。
– CitePromptは、引用意図の分類に対してプロンプトベースの学習アプローチを使用するフレームワークです。
– 適切な事前学習言語モデル、プロンプトテンプレート、およびプロンプトバーバリザーを選択することで、科学的文書についてはあまり外部情報を必要とすることなく、最新の方法よりも優れた結果を得ることができます。
– ACL-ARCデータセットについて、最新の結果を報告し、SciCiteデータセットについてもほぼすべてのベースラインモデルでの改善が示されました。
– 引用意図分類のために適切な大規模なラベル付きデータセットを見つけることはかなり難しいため、ゼロショットおよびフューショット設定へのタスクの変換を提案しています。
– ACL-ARCデータセットについて、ゼロショット設定では53.86％のF1スコアを報告し、5ショットおよび10ショット設定においてはそれぞれ63.61％と66.99％に改善します。

要約(オリジナル)

Citations in scientific papers not only help us trace the intellectual lineage but also are a useful indicator of the scientific significance of the work. Citation intents prove beneficial as they specify the role of the citation in a given context. In this paper, we present CitePrompt, a framework which uses the hitherto unexplored approach of prompt-based learning for citation intent classification. We argue that with the proper choice of the pretrained language model, the prompt template, and the prompt verbalizer, we can not only get results that are better than or comparable to those obtained with the state-of-the-art methods but also do it with much less exterior information about the scientific document. We report state-of-the-art results on the ACL-ARC dataset, and also show significant improvement on the SciCite dataset over all baseline models except one. As suitably large labelled datasets for citation intent classification can be quite hard to find, in a first, we propose the conversion of this task to the few-shot and zero-shot settings. For the ACL-ARC dataset, we report a 53.86% F1 score for the zero-shot setting, which improves to 63.61% and 66.99% for the 5-shot and 10-shot settings, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI