UniMat: Unifying Materials Embeddings through Multi-modal Learning

要約

材料科学データセットは本質的に異質であり、特性評価スペクトル、原子構造、顕微鏡画像、テキストベースの合成条件などのさまざまなモダリティで利用できます。
マルチモーダル学習、特に視覚モデルと言語モデルの進歩により、さまざまな形式のデータを統合するための新しい道が開かれました。
この研究では、原子構造、X 線回折パターン (XRD)、および組成など、材料科学の最も重要なモダリティのいくつかを統合するマルチモーダル学習 (アライメントと融合) の一般的な手法を評価します。
構造グラフのモダリティは、XRD パターンと一致させることで強化できることを示します。
さらに、XRDパターンや組成など、より実験的にアクセス可能なデータ形式を調整して融合することで、さまざまなタスクにわたる個別のモダリティよりも堅牢な結合埋め込みを作成できることを示します。
これは、材料科学におけるマルチモーダルデータの可能性を最大限に活用し、材料の設計と発見におけるより多くの情報に基づいた意思決定を促進することを目的とした将来の研究の基礎を築きます。

要約(オリジナル)

Materials science datasets are inherently heterogeneous and are available in different modalities such as characterization spectra, atomic structures, microscopic images, and text-based synthesis conditions. The advancements in multi-modal learning, particularly in vision and language models, have opened new avenues for integrating data in different forms. In this work, we evaluate common techniques in multi-modal learning (alignment and fusion) in unifying some of the most important modalities in materials science: atomic structure, X-ray diffraction patterns (XRD), and composition. We show that structure graph modality can be enhanced by aligning with XRD patterns. Additionally, we show that aligning and fusing more experimentally accessible data formats, such as XRD patterns and compositions, can create more robust joint embeddings than individual modalities across various tasks. This lays the groundwork for future studies aiming to exploit the full potential of multi-modal data in materials science, facilitating more informed decision-making in materials design and discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google