Flexible, Model-Agnostic Method for Materials Data Extraction from Text Using General Purpose Language Models

要約

研究論文から抽出された正確かつ包括的な材料データベースは材料科学および材料工学にとって重要ですが、その開発には多大な人間の労力が必要です。
人間がテキストを操作する方法を変革する大規模言語モデル (LLM) により、LLM はデータ抽出に革命を起こす機会を提供します。
この研究では、人間の監視と組み合わせた LLM の機能を活用して、研究論文全文から材料データを抽出するためのシンプルで効率的な方法を実証します。
このアプローチは、中規模のデータベースに特に適しており、最小限のコーディングまたは抽出されたプロパティに関する事前の知識を必要としません。
結果として得られるデータベースでは高い再現率とほぼ完璧な精度が得られます。
この方法は、新しい優れた言語モデルに簡単に適応できるため、継続的な実用性が保証されます。
GPT-3 と GPT-3.5/4 (ChatGPT の基礎となる)、および BART や DeBERTaV3 などの無料の代替手段でのパフォーマンスを評価および比較することで、これを示します。
体積弾性率データを含む文を抽出する際のメソッドのパフォーマンスの詳細な分析を提供し、関与する人的労力の量に応じて、再現率 96% で最大 90% の精度を達成します。
さらに、人間がこれまでに収集したデータベースの 2 倍以上のサイズの金属ガラスの臨界冷却速度のデータベースを開発することにより、この方法のより広範な有効性を実証します。

要約(オリジナル)

Accurate and comprehensive material databases extracted from research papers are crucial for materials science and engineering, but their development requires significant human effort. With large language models (LLMs) transforming the way humans interact with text, LLMs provide an opportunity to revolutionize data extraction. In this study, we demonstrate a simple and efficient method for extracting materials data from full-text research papers leveraging the capabilities of LLMs combined with human supervision. This approach is particularly suitable for mid-sized databases and requires minimal to no coding or prior knowledge about the extracted property. It offers high recall and nearly perfect precision in the resulting database. The method is easily adaptable to new and superior language models, ensuring continued utility. We show this by evaluating and comparing its performance on GPT-3 and GPT-3.5/4 (which underlie ChatGPT), as well as free alternatives such as BART and DeBERTaV3. We provide a detailed analysis of the method’s performance in extracting sentences containing bulk modulus data, achieving up to 90% precision at 96% recall, depending on the amount of human effort involved. We further demonstrate the method’s broader effectiveness by developing a database of critical cooling rates for metallic glasses over twice the size of previous human curated databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google