REASONS: A benchmark for REtrieval and Automated citationS Of scieNtific Sentences using Public and Proprietary LLMs

要約

文書やレポート中の文章に対する引用の自動生成は、情報アナリスト、サイバーセキュリティ、報道機関、教育関係者にとって最も重要である。本研究では、大規模言語モデル（LLM）が2種類の文クエリに基づいて引用文献を生成できるかどうかを調査する。(a) 直接クエリでは、LLMは与えられた研究論文の著者名を提供するよう求められる。このタスクにおけるLLMの立ち位置を示すために、arXivで最も人気のある12分野の科学研究の抄録からなるREASONSと呼ばれる大規模なデータセットを紹介する。約20Kの研究論文から、我々は公開LLMと専有LLMについて以下の推論を行う：(a) 擬人化GPT-4やGPT-3.5としばしば呼ばれる最新技術は、幻覚率(HR)を最小にするために高い合格率(PP)に苦しんでいる。Perplexity.aiでテストすると（7B）、予想外にエラーが多かった。（b）関連するメタデータを補強することで、PPを下げ、最も低いHRを与えた。（c）Mistralを使用した先行検索補強生成（RAG）は、間接的なクエリに対して一貫性のあるロバストな引用サポートを示し、GPT-3.5とGPT-4に匹敵するパフォーマンスを示した。すべてのドメインとモデルにおいて、HRは平均41.93%減少し、PPはほとんどのケースで0%に減少した。(d)敵対的なサンプルを用いたテストでは、Advance RAG Mistralを含むLLMはコンテキストを理解するのに苦労することが示されたが、MistralとGPT-4-Previewではこの問題の程度は小さかった。我々の研究は、自動引用文生成タスクにおけるRAGの信頼性に関して貴重な洞察をもたらすものである。

要約(オリジナル)

Automatic citation generation for sentences in a document or report is paramount for intelligence analysts, cybersecurity, news agencies, and education personnel. In this research, we investigate whether large language models (LLMs) are capable of generating references based on two forms of sentence queries: (a) Direct Queries, LLMs are asked to provide author names of the given research article, and (b) Indirect Queries, LLMs are asked to provide the title of a mentioned article when given a sentence from a different article. To demonstrate where LLM stands in this task, we introduce a large dataset called REASONS comprising abstracts of the 12 most popular domains of scientific research on arXiv. From around 20K research articles, we make the following deductions on public and proprietary LLMs: (a) State-of-the-art, often called anthropomorphic GPT-4 and GPT-3.5, suffers from high pass percentage (PP) to minimize the hallucination rate (HR). When tested with Perplexity.ai (7B), they unexpectedly made more errors; (b) Augmenting relevant metadata lowered the PP and gave the lowest HR; (c) Advance retrieval-augmented generation (RAG) using Mistral demonstrates consistent and robust citation support on indirect queries and matched performance to GPT-3.5 and GPT-4. The HR across all domains and models decreased by an average of 41.93% and the PP was reduced to 0% in most cases. In terms of generation quality, the average F1 Score and BLEU were 68.09% and 57.51%, respectively; (d) Testing with adversarial samples showed that LLMs, including the Advance RAG Mistral, struggle to understand context, but the extent of this issue was small in Mistral and GPT-4-Preview. Our study con tributes valuable insights into the reliability of RAG for automated citation generation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL