Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering

要約

研究論文からの手作業によるデータ抽出を、自然言語処理、言語モデル、そして最近では大規模言語モデル (LLM) に基づく自動データ抽出に置き換える取り組みが増えています。
これらの方法を使用すると、大量の研究論文からデータを効率的に抽出できますが、事前に多大な労力、専門知識、およびコーディングが必要です。
この研究では、高度な会話型 LLM を使用して、最小限の初期労力とバックグラウンドで非常に正確なデータ抽出を完全に自動化できる ChatExtract メソッドを提案します。
ChatExtract は、会話型 LLM に適用される一連の設計されたプロンプトで構成されており、データを含む文を識別し、そのデータを抽出し、一連のフォローアップ質問を通じてデータの正確性を保証します。
これらのフォローアップの質問は、LLM が事実に反して不正確な回答を提供するという既知の問題を大幅に解決します。
ChatExtract はあらゆる会話型 LLM に適用でき、非常に高品質のデータ抽出を実現します。
材料データのテストでは、ChatGPT-4 などの最高の会話型 LLM の精度と再現率が 90% 近くであることがわかりました。
会話モデルにおける情報保持と、目的を持った冗長性を組み合わせ、フォローアップ プロンプトによる不確実性を導入することによって、並外れたパフォーマンスが実現されることを実証します。
これらの結果は、ChatExtract と同様のアプローチが、そのシンプルさ、転送可能性、正確さにより、近い将来、データ抽出のための強力なツールになる可能性が高いことを示唆しています。
最後に、金属ガラスの臨界冷却速度と高エントロピー合金の降伏強度のデータベースが ChatExtract を使用して開発されます。

要約(オリジナル)

There has been a growing effort to replace hand extraction of data from research papers with automated data extraction based on natural language processing, language models, and recently, large language models (LLMs). Although these methods enable efficient extraction of data from large sets of research papers, they require a significant amount of up-front effort, expertise, and coding. In this work we propose the ChatExtract method that can fully automate very accurate data extraction with minimal initial effort and background, using an advanced conversational LLM. ChatExtract consists of a set of engineered prompts applied to a conversational LLM that both identify sentences with data, extract that data, and assure the data’s correctness through a series of follow-up questions. These follow-up questions largely overcome known issues with LLMs providing factually inaccurate responses. ChatExtract can be applied with any conversational LLMs and yields very high quality data extraction. In tests on materials data we find precision and recall both close to 90% from the best conversational LLMs, like ChatGPT-4. We demonstrate that the exceptional performance is enabled by the information retention in a conversational model combined with purposeful redundancy and introducing uncertainty through follow-up prompts. These results suggest that approaches similar to ChatExtract, due to their simplicity, transferability, and accuracy are likely to become powerful tools for data extraction in the near future. Finally, databases for critical cooling rates of metallic glasses and yield strengths of high entropy alloys are developed using ChatExtract.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google