EGraFFBench: Evaluation of Equivariant Graph Neural Network Force Fields for Atomistic Simulations

要約

等変グラフ ニューラル ネットワーク力場 (EGraFF) は、グラフの固有の対称性を利用することにより、原子システム内の複雑な相互作用をモデル化する際に大きな可能性を示しています。
最近の研究により、アトミック相互作用をモデル化するためのグラフ変換器やメッセージパッシングなどのアーキテクチャ上の革新とともに、等分散ベースの帰納的バイアスを組み込んだ新しいアーキテクチャの開発が急増しています。
しかし、現実世界の原子論的シミュレーションの下流タスク用に EGraFF を展開する場合の徹底的な評価は不足しています。
この目的を達成するために、ここでは、現実的な原子論的シミュレーションに対するそれらの機能と制限を理解することを目的として、6 つの EGraFF アルゴリズム (NequiIP、Allegro、BOTNet、MACE、Equiformer、TorchMDNet) の体系的なベンチマークを実行します。
ベンチマーク文献に基づいた 8 つの既存のデータセットに対する徹底的な評価と分析に加えて、2 つの新しいベンチマーク データセットをリリースし、4 つの新しい指標と 3 つの困難なタスクを提案します。
新しいデータセットとタスクは、さまざまな結晶構造、温度、新しい分子の観点から、分布外データに対する EGraFF のパフォーマンスを評価します。
興味深いことに、動的シミュレーションに基づいた EGraFF モデルの評価では、エネルギーまたは力に関する誤差が小さいからといって、安定した信頼性の高いシミュレーションや原子構造の忠実な複製が保証されるわけではないことが明らかになりました。
さらに、すべてのデータセットとタスクにおいて他のモデルよりも明らかに優れたモデルはないことがわかりました。
重要なのは、分布外のデータセットにおけるすべてのモデルのパフォーマンスが信頼できないことを示し、現実世界のシミュレーションで使用できる力場の基礎モデルの開発の必要性を示していることです。
要約すると、この研究は原子シミュレーションの文脈で機械学習の力場を評価するための厳密なフレームワークを確立し、この領域内で未解決の研究課題を指摘しています。

要約(オリジナル)

Equivariant graph neural networks force fields (EGraFFs) have shown great promise in modelling complex interactions in atomic systems by exploiting the graphs’ inherent symmetries. Recent works have led to a surge in the development of novel architectures that incorporate equivariance-based inductive biases alongside architectural innovations like graph transformers and message passing to model atomic interactions. However, thorough evaluations of these deploying EGraFFs for the downstream task of real-world atomistic simulations, is lacking. To this end, here we perform a systematic benchmarking of 6 EGraFF algorithms (NequIP, Allegro, BOTNet, MACE, Equiformer, TorchMDNet), with the aim of understanding their capabilities and limitations for realistic atomistic simulations. In addition to our thorough evaluation and analysis on eight existing datasets based on the benchmarking literature, we release two new benchmark datasets, propose four new metrics, and three challenging tasks. The new datasets and tasks evaluate the performance of EGraFF to out-of-distribution data, in terms of different crystal structures, temperatures, and new molecules. Interestingly, evaluation of the EGraFF models based on dynamic simulations reveals that having a lower error on energy or force does not guarantee stable or reliable simulation or faithful replication of the atomic structures. Moreover, we find that no model clearly outperforms other models on all datasets and tasks. Importantly, we show that the performance of all the models on out-of-distribution datasets is unreliable, pointing to the need for the development of a foundation model for force fields that can be used in real-world simulations. In summary, this work establishes a rigorous framework for evaluating machine learning force fields in the context of atomic simulations and points to open research challenges within this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google