LTAU-FF: Loss Trajectory Analysis for Uncertainty in Atomistic Force Fields

要約

モデル アンサンブルは、深層学習原子力場の予測不確実性を推定するためのシンプルで効果的なツールです。
それにもかかわらず、アンサンブルベースの不確実性定量化 (UQ) 手法の広範な採用は、トレーニングと推論の両方でアンサンブルによって発生する高い計算コストによって制限されています。
この研究では、トレーニングの過程で取得したサンプルごとの誤差の累積分布関数 (CDF) を利用してモデル アンサンブルを効率的に表現し、それらをモデルの潜在空間での距離ベースの類似性検索と組み合わせます。
これらのツールを使用して、トレーニングまたは推論中に複数のモデルの評価を必要とせずに、アンサンブルベースの手法の強みを活用するシンプルな UQ メトリクス (LTAU と呼びます) を開発します。
最初のテストとして、原子力場 (LTAU-FF) の認識論的不確実性の推定にこの方法を適用し、文献からの複数のデータセットに対するテスト誤差を正確に予測するためにこの方法を簡単に校正できることを実証します。
次に、2 つの実際的なアプリケーションにおける LTAU-FF の有用性を説明します。1) サンプル データセットのトレーニングと検証のギャップの調整、2) OC20 IS2RS タスクの緩和軌道の誤差の予測。
この研究では、深層学習原子力場での LTAU の使用に焦点を当てていますが、信頼性が高く実装が簡単な UQ メトリクスを提供するために、LTAU をあらゆる回帰タスクやアンサンブル生成手法に容易に適用できることを強調します。
。

要約(オリジナル)

Model ensembles are simple and effective tools for estimating the prediction uncertainty of deep learning atomistic force fields. Despite this, widespread adoption of ensemble-based uncertainty quantification (UQ) techniques is limited by the high computational costs incurred by ensembles during both training and inference. In this work we leverage the cumulative distribution functions (CDFs) of per-sample errors obtained over the course of training to efficiently represent the model ensemble, and couple them with a distance-based similarity search in the model latent space. Using these tools, we develop a simple UQ metric (which we call LTAU) that leverages the strengths of ensemble-based techniques without requiring the evaluation of multiple models during either training or inference. As an initial test, we apply our method towards estimating the epistemic uncertainty in atomistic force fields (LTAU-FF) and demonstrate that it can be easily calibrated to accurately predict test errors on multiple datasets from the literature. We then illustrate the utility of LTAU-FF in two practical applications: 1) tuning the training-validation gap for an example dataset, and 2) predicting errors in relaxation trajectories on the OC20 IS2RS task. Though in this work we focus on the use of LTAU with deep learning atomistic force fields, we emphasize that it can be readily applied to any regression task, or any ensemble-generation technique, to provide a reliable and easy-to-implement UQ metric.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google