Automated Review Generation Method Based on Large Language Models

要約

科学の進歩に不可欠な文献研究は、入手可能な情報の広大な海に圧倒されています。
これに対処して、文献処理を合理化し、認知負荷を軽減するために、大規模言語モデル (LLM) に基づいた自動レビュー生成方法を提案します。
プロパン脱水素 (PDH) 触媒のケーススタディでは、私たちの方法により 343 件の論文から包括的なレビューが迅速に生成され、LLM アカウントごとに記事ごとに平均数秒かかりました。
1,041 件の論文の拡張分析により、触媒の組成、構造、性能についての深い洞察が得られました。
LLM の幻覚を認識し、多層的な品質管理戦略を採用し、メソッドの信頼性と効果的な幻覚軽減を確保しました。
専門家の検証により、生成されたレビューの正確性と引用の完全性が確認され、LLM 幻覚リスクが 95% 以上の信頼度で 0.5% 未満に低減されることが実証されています。
リリースされた Windows アプリケーションでは、ワンクリックでレビューを生成できるため、研究者が進歩を追跡し、文献を推奨するのに役立ちます。
このアプローチは、科学研究の生産性向上における LLM の役割を示し、さらなる探究への準備を整えます。

要約(オリジナル)

Literature research, vital for scientific advancement, is overwhelmed by the vast ocean of available information. Addressing this, we propose an automated review generation method based on Large Language Models (LLMs) to streamline literature processing and reduce cognitive load. In case study on propane dehydrogenation (PDH) catalysts, our method swiftly generated comprehensive reviews from 343 articles, averaging seconds per article per LLM account. Extended analysis of 1041 articles provided deep insights into catalysts’ composition, structure, and performance. Recognizing LLMs’ hallucinations, we employed a multi-layered quality control strategy, ensuring our method’s reliability and effective hallucination mitigation. Expert verification confirms the accuracy and citation integrity of generated reviews, demonstrating LLM hallucination risks reduced to below 0.5% with over 95% confidence. Released Windows application enables one-click review generation, aiding researchers in tracking advancements and recommending literature. This approach showcases LLMs’ role in enhancing scientific research productivity and sets the stage for further exploration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google