Foundational Large Language Models for Materials Research

要約

材料の発見と開発は、世界的な課題に対処するために重要です。
しかし、膨大な量のテキストデータを構成する材料科学文献の指数関数的な成長は、知識抽出、合成、科学的推論に大きなボトルネックを生み出しました。
大規模な言語モデル（LLM）は、自動化された分析と予測を通じて材料の研究を加速する前例のない機会を提供します。
それでも、彼らの効果的な展開には、ドメイン関連のタスクを理解および解決するためのドメイン固有の適応が必要です。
ここでは、材料の文献と結晶学的データの広範なコーパスに関するllamaモデルの継続的な事前供与を通じて開発された材料科学の基礎モデルのファミリーであるLlamatを提示します。
体系的な評価を通じて、Llamatが一般的な言語能力を維持しながら、材料固有のNLPと構造化された情報抽出に優れていることを実証します。
特殊なLlamat-CIFバリアントは、結晶構造生成において前例のない機能を示し、周期表全体に高いカバーを持つ安定した結晶を予測します。
興味深いことに、Llama-3の優れたパフォーマンスにもかかわらず、Llamat-2は、テキストやテーブルからの構造化された情報抽出、特に結晶構造生成における構造化された情報抽出を含む、多様な材料科学タスク全体で予想外に強化されたドメイン固有のパフォーマンスを実証することを観察します。
訓練を受けたLLMの潜在的な適応剛性。
全体として、現在の研究は、材料研究のための実質的に展開可能なLLMコピロットの開発に向けたドメイン適応の有効性を示しています。
材料科学を超えて、我々の調査結果は、モデル選択、トレーニング方法論、ドメイン固有のパフォーマンスなど、LLMのドメイン適応に関する重要な考慮事項を明らかにしています。

要約(オリジナル)

Materials discovery and development are critical for addressing global challenges. Yet, the exponential growth in materials science literature comprising vast amounts of textual data has created significant bottlenecks in knowledge extraction, synthesis, and scientific reasoning. Large Language Models (LLMs) offer unprecedented opportunities to accelerate materials research through automated analysis and prediction. Still, their effective deployment requires domain-specific adaptation for understanding and solving domain-relevant tasks. Here, we present LLaMat, a family of foundational models for materials science developed through continued pretraining of LLaMA models on an extensive corpus of materials literature and crystallographic data. Through systematic evaluation, we demonstrate that LLaMat excels in materials-specific NLP and structured information extraction while maintaining general linguistic capabilities. The specialized LLaMat-CIF variant demonstrates unprecedented capabilities in crystal structure generation, predicting stable crystals with high coverage across the periodic table. Intriguingly, despite LLaMA-3’s superior performance in comparison to LLaMA-2, we observe that LLaMat-2 demonstrates unexpectedly enhanced domain-specific performance across diverse materials science tasks, including structured information extraction from text and tables, more particularly in crystal structure generation, a potential adaptation rigidity in overtrained LLMs. Altogether, the present work demonstrates the effectiveness of domain adaptation towards developing practically deployable LLM copilots for materials research. Beyond materials science, our findings reveal important considerations for domain adaptation of LLMs, such as model selection, training methodology, and domain-specific performance, which may influence the development of specialized scientific AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google