LitLLMs, LLMs for Literature Review: Are we there yet?

要約

文献レビューは科学研究の重要な要素ですが、特に最近の研究論文の流入のために、それらは時間を集中的かつ困難な執筆を続けています。
このペーパーでは、抽象に基づいた文献レビューの執筆を支援する際に、最近の大規模な言語モデル（LLMS）のゼロショット能力を探ります。
タスクを2つのコンポーネントに分解します。1。クエリの要約を与えられた関連作品の取得と、取得した結果に基づいて文献レビューを書く。
両方のコンポーネントに対してLLMがどれほど効果的であるかを分析します。
検索のために、最初にLLMを使用して論文の要約から意味のあるキーワードを抽出し、外部の知識ベースを照会して潜在的に関連する論文を取得する新しい2段階の検索戦略を導入します。
さらに、Attributionを使用したプロンプトベースの再ランクメカニズムを研究し、LLMの意思決定プロセスに関する洞察を提供しながら、再ランキングがナイーブ検索方法と比較して正規化されたリコールを2倍にすることを示します。
生成段階では、最初にレビューの計画を概説し、次に実際のレビューを生成するための計画の手順を実行する2段階のアプローチを提案します。
さまざまなLLMベースの文献レビュー方法を評価するために、ゼロショット評価でのテストセット汚染を回避するために、新しくリリースされたLLMSで使用するために設計されたプロトコルを使用して、ARXIVペーパーからテストセットを作成します。
この評価プロトコルをリリースして、この点で追加の研究開発を促進します。
私たちの経験的結果は、LLMSがタスクが検索と計画のより小さなコンポーネントに分解されたときに文献レビューを書くことの有望な可能性を示していることを示唆しています。
デモンストレーションシステムとツールキットを含むプロジェクトページには、https：//litllm.github.ioにアクセスできます。

要約(オリジナル)

Literature reviews are an essential component of scientific research, but they remain time-intensive and challenging to write, especially due to the recent influx of research papers. This paper explores the zero-shot abilities of recent Large Language Models (LLMs) in assisting with the writing of literature reviews based on an abstract. We decompose the task into two components: 1. Retrieving related works given a query abstract, and 2. Writing a literature review based on the retrieved results. We analyze how effective LLMs are for both components. For retrieval, we introduce a novel two-step search strategy that first uses an LLM to extract meaningful keywords from the abstract of a paper and then retrieves potentially relevant papers by querying an external knowledge base. Additionally, we study a prompting-based re-ranking mechanism with attribution and show that re-ranking doubles the normalized recall compared to naive search methods, while providing insights into the LLM’s decision-making process. In the generation phase, we propose a two-step approach that first outlines a plan for the review and then executes steps in the plan to generate the actual review. To evaluate different LLM-based literature review methods, we create test sets from arXiv papers using a protocol designed for rolling use with newly released LLMs to avoid test set contamination in zero-shot evaluations. We release this evaluation protocol to promote additional research and development in this regard. Our empirical results suggest that LLMs show promising potential for writing literature reviews when the task is decomposed into smaller components of retrieval and planning. Our project page including a demonstration system and toolkit can be accessed here: https://litllm.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google