Crystalformer: Infinitely Connected Attention for Periodic Structure Encoding

要約

結晶構造から材料の物理的特性を予測することは、材料科学の基本的な問題です。
分子特性の予測などの周辺領域では、完全に接続された注意ネットワークが成功することが示されています。
ただし、これらの有限な原子配置とは異なり、結晶構造は無限に繰り返される原子の周期的な配置であり、その完全に接続された注意は無限に接続された注意をもたらします。
この研究では、この無限に接続された注意が、深く学習された特徴空間で無限の原子間ポテンシャル総和を実行する、神経ポテンシャル総和として解釈される、計算上扱いやすい定式化につながる可能性があることを示します。
次に、Crystalformer と呼ばれる、結晶構造用のシンプルかつ効果的な Transformer ベースのエンコーダ アーキテクチャを提案します。
既存の Transformer ベースのモデルと比較して、提案されたモデルはパラメータ数の 29.4% のみを必要とし、元の Transformer アーキテクチャへの変更は最小限です。
アーキテクチャの単純さにも関わらず、提案された手法は、マテリアル プロジェクトおよび JARVIS-DFT データセットのさまざまなプロパティ回帰タスクに対して最先端の手法を上回ります。

要約(オリジナル)

Predicting physical properties of materials from their crystal structures is a fundamental problem in materials science. In peripheral areas such as the prediction of molecular properties, fully connected attention networks have been shown to be successful. However, unlike these finite atom arrangements, crystal structures are infinitely repeating, periodic arrangements of atoms, whose fully connected attention results in infinitely connected attention. In this work, we show that this infinitely connected attention can lead to a computationally tractable formulation, interpreted as neural potential summation, that performs infinite interatomic potential summations in a deeply learned feature space. We then propose a simple yet effective Transformer-based encoder architecture for crystal structures called Crystalformer. Compared to an existing Transformer-based model, the proposed model requires only 29.4% of the number of parameters, with minimal modifications to the original Transformer architecture. Despite the architectural simplicity, the proposed method outperforms state-of-the-art methods for various property regression tasks on the Materials Project and JARVIS-DFT datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google