LLaMP: Large Language Model Made Powerful for High-fidelity Materials Knowledge Retrieval and Distillation

要約

大規模言語モデル (LLM) の幻覚を軽減することは、再現性が重要な科学分野で使用するために不可欠です。
ただし、LLM には本質的に長期記憶が欠けているため、ドメイン固有の文献やデータに基づいて LLM を微調整することは、自明ではなく、場当たり的で、必然的に偏った作業となります。
ここでは、マテリアル プロジェクト (MP) 上の計算データおよび実験データと動的に対話する複数のデータ認識推論および動作 (ReAct) エージェントのマルチモーダル検索拡張生成 (RAG) フレームワークである LLaMP を紹介します。
LLaMP は、微調整することなく、材料科学の概念のさまざまな様式を理解して統合し、関連するデータ ストアをオンザフライでフェッチし、高次データ (結晶構造や弾性テンソルなど) を処理し、複数のステップの手順を要約する能力を実証します。
固体合成。
私たちは、LLaMP が GPT-3.5 の固有知識のエラーを効果的に修正し、頻繁に文書化されているバンドギャップに関する 5.21% MAPE と、地層エネルギーに関する 1103.54% という大幅な MAPE を削減することを示します。これらのエラーは、GPT-3.5 が混合データ ソースから派生していると思われます。
さらに、LLaMP は、ダイヤモンド立方シリコン構造における幻覚を引き起こす体積歪みを 66.3% から 0 に大幅に減少させます。提案されたフレームワークは、マテリアルズ インフォマティクスを探索するための直感的でほぼ幻覚のないアプローチを提供し、知識の蒸留と他の言語の微調整のための経路を確立します。
モデル。
私たちは、このフレームワークが科学的仮説のための貴重なコンポーネントであり、複数の LLM エージェントがロボット工学と通信および協力して、ハードコーディングされた人間のロジックや介入なしに材料合成や化学反応を推進する将来の自律型研究所の基盤として構想しています。

要約(オリジナル)

Reducing hallucination of Large Language Models (LLMs) is imperative for use in the sciences where reproducibility is crucial. However, LLMs inherently lack long-term memory, making it a nontrivial, ad hoc, and inevitably biased task to fine-tune them on domain-specific literature and data. Here we introduce LLaMP, a multimodal retrieval-augmented generation (RAG) framework of multiple data-aware reasoning-and-acting (ReAct) agents that dynamically interact with computational and experimental data on Materials Project (MP). Without fine-tuning, LLaMP demonstrates an ability to comprehend and integrate various modalities of materials science concepts, fetch relevant data stores on the fly, process higher-order data (such as crystal structures and elastic tensors), and summarize multi-step procedures for solid-state synthesis. We show that LLaMP effectively corrects errors in GPT-3.5’s intrinsic knowledge, reducing a 5.21% MAPE on frequently-documented bandgaps and a significant 1103.54% MAPE on formation energies — errors that GPT-3.5 seems to derive from mixed data sources. Additionally, LLaMP substantially reduces the hallucinated volumetric strain in a diamond cubic silicon structure from 66.3% to 0. The proposed framework offers an intuitive and nearly hallucination-free approach to exploring materials informatics and establishes a pathway for knowledge distillation and fine-tuning other language models. We envision the framework as a valuable component for scientific hypotheses and a foundation for future autonomous laboratories where multiple LLM agents communicate and cooperate with robotics to drive material synthesis and chemical reactions without hard-coded human logic and intervention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google