Accelerated materials language processing enabled by GPT

要約

材料言語処理 (MLP) は、膨大な材料科学文献から構造化情報を抽出できるため、材料科学研究を促進する重要な要素の 1 つです。
これまでの研究では、テキスト分類、固有表現認識 (NER)、および抽出的質問応答 (QA) のための高性能 MLP モデルが提案されていましたが、これらには、複雑なモデル アーキテクチャ、徹底的な微調整、人間がラベル付けした多数のデータセットが必要でした。
この研究では、以前の MLP モデルの複雑なアーキテクチャがプロンプト エンジニアリングの戦略的設計に置き換えられる生成事前学習トランスフォーマー (GPT) 対応パイプラインを開発します。
まず、関連する文書をスクリーニングするための GPT 対応の文書分類方法を開発し、小規模なデータセットのみで以前のモデルと比較して同等の精度と信頼性を達成します。
次に、NER タスクでは、エンティティ中心のプロンプトを設計し、それらのいくつかのショットを学習することで、3 つのオープン データセット内のほとんどのエンティティのパフォーマンスが向上しました。
最後に、GPT 対応の抽出 QA モデルを開発します。これにより、パフォーマンスが向上し、注釈を自動的に修正できる可能性が示されます。
私たちの調査結果は、GPT 対応の MLP モデルの可能性と、信頼性と実用性の観点からの価値を裏付けていますが、私たちの科学的手法と体系的アプローチは、あらゆる材料科学分野に適用でき、科学文献の情報抽出を加速します。

要約(オリジナル)

Materials language processing (MLP) is one of the key facilitators of materials science research, as it enables the extraction of structured information from massive materials science literature. Prior works suggested high-performance MLP models for text classification, named entity recognition (NER), and extractive question answering (QA), which require complex model architecture, exhaustive fine-tuning and a large number of human-labelled datasets. In this study, we develop generative pretrained transformer (GPT)-enabled pipelines where the complex architectures of prior MLP models are replaced with strategic designs of prompt engineering. First, we develop a GPT-enabled document classification method for screening relevant documents, achieving comparable accuracy and reliability compared to prior models, with only small dataset. Secondly, for NER task, we design an entity-centric prompts, and learning few-shot of them improved the performance on most of entities in three open datasets. Finally, we develop an GPT-enabled extractive QA model, which provides improved performance and shows the possibility of automatically correcting annotations. While our findings confirm the potential of GPT-enabled MLP models as well as their value in terms of reliability and practicability, our scientific methods and systematic approach are applicable to any materials science domain to accelerate the information extraction of scientific literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google