Materials Informatics Transformer: A Language Model for Interpretable Materials Properties Prediction

要約

近年、自然言語処理、コンピュータ・ビジョン、分子モデリングなど様々な研究領域において、大規模言語モデル（LLM）の顕著な能力が示されている。我々は、LLMを材料特性予測に利用することで、このパラダイムを拡張し、我々のモデルMaterials Informatics Transformer (MatInFormer)を紹介する。具体的には、適切な空間群情報のトークン化を通して結晶学の文法を学習する新しいアプローチを紹介する。さらに、Metal-Organic Frameworks（MOF）に関連するタスク固有のデータを取り込むことで、MatInFormerの適応性を説明する。注目の可視化を通じて、物性予測時にモデルが優先する主要な特徴を明らかにする。提案モデルの有効性は14のデータセットで実証的に検証され、高精度な物性予測によるハイスループット・スクリーニングの可能性が明らかになった。

要約(オリジナル)

Recently, the remarkable capabilities of large language models (LLMs) have been illustrated across a variety of research domains such as natural language processing, computer vision, and molecular modeling. We extend this paradigm by utilizing LLMs for material property prediction by introducing our model Materials Informatics Transformer (MatInFormer). Specifically, we introduce a novel approach that involves learning the grammar of crystallography through the tokenization of pertinent space group information. We further illustrate the adaptability of MatInFormer by incorporating task-specific data pertaining to Metal-Organic Frameworks (MOFs). Through attention visualization, we uncover the key features that the model prioritizes during property prediction. The effectiveness of our proposed model is empirically validated across 14 distinct datasets, hereby underscoring its potential for high throughput screening through accurate material property prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL