MatText: Do Language Models Need More than Text & Scale for Materials Modeling?

要約

マテリアルをテキストとして効果的に表現すると、新しいマテリアルを発見するために大規模言語モデル (LLM) の大幅な進歩を活用できる可能性があります。
LLM はさまざまな分野で目覚ましい成功を収めていますが、材料科学への応用はまだ研究されていません。
根本的な課題は、マテリアル モデリングにテキストベースの表現を最適に利用する方法が理解されていないことです。
この課題は、マテリアル システムの複雑さを把握する際に、これらのテキスト表現の機能と制限を厳密に評価するための包括的なベンチマークが存在しないことによってさらに悪化します。
このギャップに対処するために、私たちは、マテリアルのモデリングにおける言語モデルのパフォーマンスを体系的に評価するように設計されたベンチマーク ツールとデータセットのスイートである MatText を提案します。
MatText には、いくつかの新しい表現を含む、マテリアル システムの 9 つの異なるテキストベースの表現が含まれています。
各表現には、関連情報を取得し、材料に関する事前の物理的知識を統合する独自の帰納的バイアスが組み込まれています。
さらに、MatText は、材料科学のコンテキストで言語モデルのパフォーマンスをトレーニングおよびベンチマークするための重要なツールを提供します。
これらのツールには、表現ごとに標準化されたデータセット分割、幾何学的要因に対する感度を評価するためのプローブ、結晶構造をテキストにシームレスに変換するためのツールが含まれます。
MatText を使用して、マテリアルのモデリングにおける言語モデルの機能の広範な分析を実行します。
私たちの調査結果は、現在の言語モデルが、すべての表現にわたってマテリアル モデリングに不可欠な幾何学的情報を捕捉するのに一貫して苦労していることを明らかにしています。
代わりに、これらのモデルはローカル情報を活用する傾向があり、これはいくつかの新しい表現で強調されています。
私たちの分析は、マテリアル デザインにおけるテキストベースの手法の欠点を明らかにする MatText の能力を強調しています。

要約(オリジナル)

Effectively representing materials as text has the potential to leverage the vast advancements of large language models (LLMs) for discovering new materials. While LLMs have shown remarkable success in various domains, their application to materials science remains underexplored. A fundamental challenge is the lack of understanding of how to best utilize text-based representations for materials modeling. This challenge is further compounded by the absence of a comprehensive benchmark to rigorously evaluate the capabilities and limitations of these text representations in capturing the complexity of material systems. To address this gap, we propose MatText, a suite of benchmarking tools and datasets designed to systematically evaluate the performance of language models in modeling materials. MatText encompasses nine distinct text-based representations for material systems, including several novel representations. Each representation incorporates unique inductive biases that capture relevant information and integrate prior physical knowledge about materials. Additionally, MatText provides essential tools for training and benchmarking the performance of language models in the context of materials science. These tools include standardized dataset splits for each representation, probes for evaluating sensitivity to geometric factors, and tools for seamlessly converting crystal structures into text. Using MatText, we conduct an extensive analysis of the capabilities of language models in modeling materials. Our findings reveal that current language models consistently struggle to capture the geometric information crucial for materials modeling across all representations. Instead, these models tend to leverage local information, which is emphasized in some of our novel representations. Our analysis underscores MatText’s ability to reveal shortcomings of text-based methods for materials design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google