Automated Review Generation Method Based on Large Language Models

要約

科学的研究に不可欠な文献研究は、研究者の処理能力を超える情報量を急増させるという課題に直面しています。
効率のボトルネックを克服し、認知負荷を削減するために、大規模な言語モデル（LLMS）に基づいた自動レビュー生成方法を提示します。
当社の統計的に検証された評価フレームワークは、生成されたレビューが手動の品質に一致するか、それを超えていることを示しており、ユーザーのドメインの知識を必要とせずに研究分野で幅広い適用可能性を提供します。
プロパン脱水素（PDH）触媒に適用され、この方法は343の記事を迅速に分析し、LLMアカウントごとに平均して記事ごとに秒秒で、35のトピックにまたがる包括的なレビューを作成し、1041の記事の拡張分析で触媒を提供します。
多層的な品質制御により、LLMSの幻覚を効果的に軽減し、専門家の検証により、精度と引用の完全性を確認しながら、95 \％の信頼性で幻覚リスクが0.5 \％未満に減少しました。
リリースされたWindowsアプリケーションにより、ワンクリックレビュー生成が可能になり、より広範な科学的探求の段階を設定しながら、研究の生産性と文献の推奨効率を高めます。

要約(オリジナル)

Literature research, vital for scientific work, faces the challenge of surging information volumes exceeding researchers’ processing capabilities. We present an automated review generation method based on large language models (LLMs) to overcome efficiency bottlenecks and reduce cognitive load. Our statistically validated evaluation framework demonstrates that the generated reviews match or exceed manual quality, offering broad applicability across research fields without requiring users’ domain knowledge. Applied to propane dehydrogenation (PDH) catalysts, our method swiftly analyzed 343 articles, averaging seconds per article per LLM account, producing comprehensive reviews spanning 35 topics, with extended analysis of 1041 articles providing insights into catalysts’ properties. Through multi-layered quality control, we effectively mitigated LLMs’ hallucinations, with expert verification confirming accuracy and citation integrity while demonstrating hallucination risks reduced to below 0.5\% with 95\% confidence. Released Windows application enables one-click review generation, enhancing research productivity and literature recommendation efficiency while setting the stage for broader scientific explorations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google