Generalizing Denoising to Non-Equilibrium Structures Improves Equivariant Force Fields

要約

3D 原子系における力などの原子の相互作用を理解することは、分子動力学や触媒設計などの多くのアプリケーションの基礎です。
ただし、これらの相互作用をシミュレートするには、大量の計算を必要とする非経験的な計算が必要となるため、ニューラル ネットワークをトレーニングするためのデータが限られてしまいます。
このペーパーでは、トレーニング データをより有効に活用し、パフォーマンスを向上させるための補助タスクとして非平衡構造のノイズ除去 (DeNS) を使用することを提案します。
DeNS を使用したトレーニングでは、まず 3D 座標にノイズを追加して 3D 構造を破壊し、次にノイズを予測します。
平衡構造に限定されていたノイズ除去に関するこれまでの研究とは異なり、提案された方法はノイズ除去をより大きな非平衡構造のセットに一般化します。
主な違いは、非平衡構造は局所的なエネルギー最小値に対応せず、力がゼロではないため、平衡構造と比較して多くの可能な原子位置を持つことができることです。
これにより、ノイズ除去のターゲットが一意に定義されないため、非平衡構造のノイズ除去が不適切な問題になります。
私たちの重要な洞察は、元の非平衡構造の力をさらにエンコードして、ノイズを除去する非平衡構造を指定することです。
具体的には、破損した非平衡構造と元の非平衡構造の力が与えられた場合、任意の構造ではなく、入力された力を満たす非平衡構造を予測します。
DeNS はエンコーディングの力を必要とするため、DeNS はノードの埋め込みに力や他の高次テンソルを簡単に組み込むことができる等変ネットワークを好みます。
私たちは、OC20、OC22、MD17 データセットで DeNS を使用して等変ネットワークをトレーニングする有効性を研究し、DeNS が OC20 と OC22 で新しい最先端の結果を達成し、MD17 でトレーニング効率を大幅に向上できることを実証します。

要約(オリジナル)

Understanding the interactions of atoms such as forces in 3D atomistic systems is fundamental to many applications like molecular dynamics and catalyst design. However, simulating these interactions requires compute-intensive ab initio calculations and thus results in limited data for training neural networks. In this paper, we propose to use denoising non-equilibrium structures (DeNS) as an auxiliary task to better leverage training data and improve performance. For training with DeNS, we first corrupt a 3D structure by adding noise to its 3D coordinates and then predict the noise. Different from previous works on denoising, which are limited to equilibrium structures, the proposed method generalizes denoising to a much larger set of non-equilibrium structures. The main difference is that a non-equilibrium structure does not correspond to local energy minima and has non-zero forces, and therefore it can have many possible atomic positions compared to an equilibrium structure. This makes denoising non-equilibrium structures an ill-posed problem since the target of denoising is not uniquely defined. Our key insight is to additionally encode the forces of the original non-equilibrium structure to specify which non-equilibrium structure we are denoising. Concretely, given a corrupted non-equilibrium structure and the forces of the original one, we predict the non-equilibrium structure satisfying the input forces instead of any arbitrary structures. Since DeNS requires encoding forces, DeNS favors equivariant networks, which can easily incorporate forces and other higher-order tensors in node embeddings. We study the effectiveness of training equivariant networks with DeNS on OC20, OC22 and MD17 datasets and demonstrate that DeNS can achieve new state-of-the-art results on OC20 and OC22 and significantly improve training efficiency on MD17.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google