Towards Fully-Automated Materials Discovery via Large-Scale Synthesis Dataset and Expert-Level LLM-as-a-Judge

要約

材料の合成は、エネルギー貯蔵、触媒、電子機器、生物医学装置などの革新に不可欠です。
しかし、このプロセスは、専門家の直観によって導かれる経験的、試行錯誤の方法に大きく依存しています。
私たちの仕事の目的は、実用的でデータ駆動型のリソースを提供することにより、材料科学コミュニティをサポートすることです。
私たちは、新しく開発されたベンチマークであるAlchemyBenchの基礎を形成するオープンアクセス文献から17Kの専門家で検証された合成レシピの包括的なデータセットをキュレーションしました。
AlchemyBenchは、合成予測に適用される大規模な言語モデルの研究をサポートするエンドツーエンドのフレームワークを提供します。
原材料と機器の予測、合成手順の生成、および特性評価の結果予測など、重要なタスクが含まれます。
自動評価のために大規模な言語モデルを活用し、専門家の評価と強い統計的一致を実証するLLM-as-a-Judgeフレームワークを提案します。
全体として、当社の貢献は、材料の合成の予測と指導におけるLLMの能力を調査するための支援的な基盤を提供し、最終的にはより効率的な実験設計と材料科学のイノベーションを加速するための道を開きます。

要約(オリジナル)

Materials synthesis is vital for innovations such as energy storage, catalysis, electronics, and biomedical devices. Yet, the process relies heavily on empirical, trial-and-error methods guided by expert intuition. Our work aims to support the materials science community by providing a practical, data-driven resource. We have curated a comprehensive dataset of 17K expert-verified synthesis recipes from open-access literature, which forms the basis of our newly developed benchmark, AlchemyBench. AlchemyBench offers an end-to-end framework that supports research in large language models applied to synthesis prediction. It encompasses key tasks, including raw materials and equipment prediction, synthesis procedure generation, and characterization outcome forecasting. We propose an LLM-as-a-Judge framework that leverages large language models for automated evaluation, demonstrating strong statistical agreement with expert assessments. Overall, our contributions offer a supportive foundation for exploring the capabilities of LLMs in predicting and guiding materials synthesis, ultimately paving the way for more efficient experimental design and accelerated innovation in materials science.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google