Data efficiency and extrapolation trends in neural network interatomic potentials

要約

タイトル：ニューラルネットワーク間原子ポテンシャルにおけるデータ効率性と外挿トレンド

要約：

– ニューラルネットワーク間原子ポテンシャル（NNIP）には、メッセージパッシングネットワーク、等変性、多体展開項などのキーアーキテクチャの進歩がある。
– 近年の NNIPモデルは、エネルギー/力の誤差においてわずかな違いを示しているが、精度の向上は新しい NNIPアーキテクチャを開発する際の主な目標と考えられている。
– この研究では、アーキテクチャと最適化の選択が NNIPの汎化にどのように影響を与えるか、分子動力学（MD）の安定性、データ効率、損失の景色の傾向を明らかにする。
– ３BPAデータセットを用いて、NNIPのテスト誤差はスケーリング関係に従い、ノイズに対して堅牢であることがわかったが、高精度領域で MDの安定性を予測することはできない。
– この問題を回避するために、私たちは損失のランドスケープの可視化と損失エントロピーの度量衡の使用を提案し、NNIPの汎化能力を予測するために使用できる。
– NequIPとMACEにおける大規模な研究により、損失エントロピーがトレーニングセットだけで計算されているにもかかわらず、分布外誤差とMD安定性を予測することができることを示した。
– このプローブを使用して、最適化プログラム、損失関数の重み付け、データの正規化、その他のアーキテクチャ上の決定が NNIPの外挿挙動にどのように影響を与えるかを実証した。
– 最後に、損失エントロピーとデータ効率性を関連付け、フラットなランドスケープは学習曲線の勾配も予測することを示した。
– この研究は、多くの一般的な NNIPの外挿性能のための深層学習の正当化を提供し、次世代のモデルの開発に役立つ精度指標を超えたツールを紹介している。

要約(オリジナル)

Over the last few years, key architectural advances have been proposed for neural network interatomic potentials (NNIPs), such as incorporating message-passing networks, equivariance, or many-body expansion terms. Although modern NNIP models exhibit small differences in energy/forces errors, improvements in accuracy are still considered the main target when developing new NNIP architectures. In this work, we show how architectural and optimization choices influence the generalization of NNIPs, revealing trends in molecular dynamics (MD) stability, data efficiency, and loss landscapes. Using the 3BPA dataset, we show that test errors in NNIP follow a scaling relation and can be robust to noise, but cannot predict MD stability in the high-accuracy regime. To circumvent this problem, we propose the use of loss landscape visualizations and a metric of loss entropy for predicting the generalization power of NNIPs. With a large-scale study on NequIP and MACE, we show that the loss entropy predicts out-of-distribution error and MD stability despite being computed only on the training set. Using this probe, we demonstrate how the choice of optimizers, loss function weighting, data normalization, and other architectural decisions influence the extrapolation behavior of NNIPs. Finally, we relate loss entropy to data efficiency, demonstrating that flatter landscapes also predict learning curve slopes. Our work provides a deep learning justification for the extrapolation performance of many common NNIPs, and introduces tools beyond accuracy metrics that can be used to inform the development of next-generation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI