SurveyX: Academic Survey Automation via Large Language Models

要約

大規模な言語モデル（LLMS）は、例外的な理解能力と膨大な知識ベースを実証しており、LLMが自動調査生成の効率的なツールとして機能できることを示唆しています。
ただし、自動調査生成に関連する最近の研究は、有限コンテキストウィンドウ、詳細なコンテンツの議論の欠如、体系的な評価フレームワークの欠如など、いくつかの重要な制限によって制約されたままです。
人間の執筆プロセスに触発されて、調査プロセスを2つの段階に分解する自動調査生成のための効率的で組織化されたシステムであるSurveyXを提案します：準備と生成の段階。
オンラインリファレンス検索、AttributeTreeと呼ばれる前処理方法、および再編成プロセスを革新的に導入することにより、SurveyXは調査構成の有効性を大幅に向上させます。
実験的評価の結果は、SurveyXがコンテンツの品質（0.259の改善）と引用の品質（1.76強化）の既存の自動調査生成システムを上回り、複数の評価ディメンションにわたって人間の専門家パフォーマンスに近づいていることを示しています。
surveyxによって生成された調査の例は、www.surveyx.cnで入手できます。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated exceptional comprehension capabilities and a vast knowledge base, suggesting that LLMs can serve as efficient tools for automated survey generation. However, recent research related to automated survey generation remains constrained by some critical limitations like finite context window, lack of in-depth content discussion, and absence of systematic evaluation frameworks. Inspired by human writing processes, we propose SurveyX, an efficient and organized system for automated survey generation that decomposes the survey composing process into two phases: the Preparation and Generation phases. By innovatively introducing online reference retrieval, a pre-processing method called AttributeTree, and a re-polishing process, SurveyX significantly enhances the efficacy of survey composition. Experimental evaluation results show that SurveyX outperforms existing automated survey generation systems in content quality (0.259 improvement) and citation quality (1.76 enhancement), approaching human expert performance across multiple evaluation dimensions. Examples of surveys generated by SurveyX are available on www.surveyx.cn

arxiv情報

提供元, 利用サービス

arxiv.jp, Google