Understanding and Mitigating Distribution Shifts For Machine Learning Force Fields

要約

機械学習力フィールド（MLFF）は、高価なab initio量子機械分子シミュレーションの有望な代替手段です。
興味深い化学スペースの多様性と新しいデータを生成するコストを考えると、MLFFがトレーニング分布を超えてどのように一般化するかを理解することが重要です。
MLFFの分布シフトを特徴付け、よりよく理解するために、化学データセットで診断実験を実施し、広範なデータで訓練された大規模な基礎モデルであっても、重要な課題をもたらす一般的なシフトを明らかにします。
これらの観察に基づいて、現在の監視されたトレーニング方法がMLFFを正規化し、分散型システムの不十分な表現を過剰に装着および学習することを仮定します。
次に、MLFFの分布シフトを緩和するための初期手順として2つの新しい方法を提案します。
当社の方法は、最小限の計算コストを負い、高価なab initioリファレンスラベルを使用しないテスト時間改良戦略に焦点を当てています。
スペクトルグラフ理論に基づく最初の戦略は、テストグラフのエッジを変更して、トレーニング中に見られるグラフ構造と整合します。
2番目の戦略は、安価な物理的な事前などの補助目標を使用して勾配の手順を実行することにより、テスト時に分散排出システムの表現を改善します。
テスト時間の改良戦略は、分散排出システムのエラーを大幅に削減し、MLFFが多様な化学空間のモデリングに移行できるが、そうするように効果的に訓練されていないことを示唆しています。
私たちの実験は、次世代のMLFFの一般化能力を評価するための明確なベンチマークを確立します。
私たちのコードは、https：//tkreiman.github.io/projects/mlff_distribution_shifts/で入手できます。

要約(オリジナル)

Machine Learning Force Fields (MLFFs) are a promising alternative to expensive ab initio quantum mechanical molecular simulations. Given the diversity of chemical spaces that are of interest and the cost of generating new data, it is important to understand how MLFFs generalize beyond their training distributions. In order to characterize and better understand distribution shifts in MLFFs, we conduct diagnostic experiments on chemical datasets, revealing common shifts that pose significant challenges, even for large foundation models trained on extensive data. Based on these observations, we hypothesize that current supervised training methods inadequately regularize MLFFs, resulting in overfitting and learning poor representations of out-of-distribution systems. We then propose two new methods as initial steps for mitigating distribution shifts for MLFFs. Our methods focus on test-time refinement strategies that incur minimal computational cost and do not use expensive ab initio reference labels. The first strategy, based on spectral graph theory, modifies the edges of test graphs to align with graph structures seen during training. Our second strategy improves representations for out-of-distribution systems at test-time by taking gradient steps using an auxiliary objective, such as a cheap physical prior. Our test-time refinement strategies significantly reduce errors on out-of-distribution systems, suggesting that MLFFs are capable of and can move towards modeling diverse chemical spaces, but are not being effectively trained to do so. Our experiments establish clear benchmarks for evaluating the generalization capabilities of the next generation of MLFFs. Our code is available at https://tkreiman.github.io/projects/mlff_distribution_shifts/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google