SurveyForge: On the Outline Heuristics, Memory-Driven Generation, and Multi-dimensional Evaluation for Automated Survey Writing

要約

調査出版物の急速な成長を考えると、科学研究において調査論文は重要な役割を果たしています。
最近、研究者はLLMSを使用して、調査生成を自動化するために効率を向上させるようになりました。
ただし、LLM生成調査と人間によって書かれた調査と人間によって書かれた調査との間の質のギャップは、特に概要の質と引用の精度の点で重要です。
これらのギャップを閉じるために、SurveyForgeを紹介します。SurveyForgeは、最初に人間が作成したアウトラインの論理構造を分析し、取得したドメイン関連の記事を参照することによりアウトラインを生成します。
その後、学者ナビゲーションエージェントによって記憶から取得された高品質の論文を活用すると、SurveyForgeは生成された物品のコンテンツを自動的に生成および改良することができます。
さらに、包括的な評価を実現するために、surveybenchを構築します。これには、勝利率の比較のための100の人間が記述した調査論文が含まれており、参照、概要、コンテンツの品質という3つの次元にわたってAIが生成された調査論文を評価します。
実験は、SurveyforgeがAutoSurveyなどの以前の作品よりも優れていることを示しています。

要約(オリジナル)

Survey paper plays a crucial role in scientific research, especially given the rapid growth of research publications. Recently, researchers have begun using LLMs to automate survey generation for better efficiency. However, the quality gap between LLM-generated surveys and those written by human remains significant, particularly in terms of outline quality and citation accuracy. To close these gaps, we introduce SurveyForge, which first generates the outline by analyzing the logical structure of human-written outlines and referring to the retrieved domain-related articles. Subsequently, leveraging high-quality papers retrieved from memory by our scholar navigation agent, SurveyForge can automatically generate and refine the content of the generated article. Moreover, to achieve a comprehensive evaluation, we construct SurveyBench, which includes 100 human-written survey papers for win-rate comparison and assesses AI-generated survey papers across three dimensions: reference, outline, and content quality. Experiments demonstrate that SurveyForge can outperform previous works such as AutoSurvey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google