KG-CTG: Citation Generation through Knowledge Graph-guided Large Language Models

要約

引用テキスト生成 (CTG) は、ソース文書内の引用文書を正確に引用または参照するテキストを生成することを目的とした自然言語処理 (NLP) のタスクです。
CTG では、生成されたテキストはソース文書と引用論文の両方からの文脈上のヒントを利用して、正確で関連性のある引用情報が提供されるようにします。
引用生成の分野におけるこれまでの研究は、主に文書のテキスト要約に基づいていました。
これに続いて、この論文では、引用生成タスクにおける大規模言語モデル (LLM) の使用を実証するためのフレームワークと比較研究を紹介します。
また、LLM が論文間の関係をよりよく学習できるよう、論文のナレッジ グラフ関係をプロンプトに組み込むことにより、引用生成の結果が向上することも示しました。
モデルのパフォーマンスを評価するために、英語のコンピューター サイエンスの学術研究論文のみで構成される標準 S2ORC データセットのサブセットを使用しました。
Vicuna は、14.15 Meteor、12.88 Rouge-1、1.52 Rouge-2、および 10.94 Rouge-L でこのタスクに最適なパフォーマンスを発揮します。
また、Alpaca のパフォーマンスが最も高く、ナレッジ グラフを含めることで Rouge-1 で 36.98%、Meteor で 33.14% パフォーマンスが向上しました。

要約(オリジナル)

Citation Text Generation (CTG) is a task in natural language processing (NLP) that aims to produce text that accurately cites or references a cited document within a source document. In CTG, the generated text draws upon contextual cues from both the source document and the cited paper, ensuring accurate and relevant citation information is provided. Previous work in the field of citation generation is mainly based on the text summarization of documents. Following this, this paper presents a framework, and a comparative study to demonstrate the use of Large Language Models (LLMs) for the task of citation generation. Also, we have shown the improvement in the results of citation generation by incorporating the knowledge graph relations of the papers in the prompt for the LLM to better learn the relationship between the papers. To assess how well our model is performing, we have used a subset of standard S2ORC dataset, which only consists of computer science academic research papers in the English Language. Vicuna performs best for this task with 14.15 Meteor, 12.88 Rouge-1, 1.52 Rouge-2, and 10.94 Rouge-L. Also, Alpaca performs best, and improves the performance by 36.98% in Rouge-1, and 33.14% in Meteor by including knowledge graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google