Soft Checksums to Flag Untrustworthy Machine Learning Surrogate Predictions and Application to Atomic Physics Simulations

要約

トレーニング済みニューラル ネットワーク (NN) は、物理シミュレーションにおける高コストの計算を置き換える代理モデルとして魅力的ですが、トレーニング データセットで適切に表現されていない状態に無意識のうちに適用されることがよくあります。
科学的機械学習のためのソフト チェックサムの新しい技術を紹介します。これは、分布内 (ID) データ ポイントでの誤差が小さい信頼できる予測と、分布外 (OOD) で誤差が大きい信頼できない予測を区別するための汎用手法です。
) データポイント。
既存の出力層にチェック ノードを追加することで、NN 予測内でエンコードされた選択されたチェックサム関数を学習するようにモデルをトレーニングし、この関数の違反が高い予測誤差と相関することを示します。
チェックサム関数は NN 予測のみに依存するため、単一の前方パスで任意の予測のチェックサム エラーを計算でき、時間とメモリのコストは無視できます。
さらに、チェックサム関数を損失関数に組み込み、トレーニング プロセス中に NN を OOD データ ポイントに公開すると、ID 予測と OOD 予測の分離が改善されることがわかりました。
物理的に複雑な高次元の非局所熱力学的平衡原子物理データセットにソフト チェックサムを適用することで、チェックサム エラーのしきい値を適切に選択することで ID 予測と OOD 予測を効果的に分離できることを示します。

要約(オリジナル)

Trained neural networks (NN) are attractive as surrogate models to replace costly calculations in physical simulations, but are often unknowingly applied to states not adequately represented in the training dataset. We present the novel technique of soft checksums for scientific machine learning, a general-purpose method to differentiate between trustworthy predictions with small errors on in-distribution (ID) data points, and untrustworthy predictions with large errors on out-of-distribution (OOD) data points. By adding a check node to the existing output layer, we train the model to learn the chosen checksum function encoded within the NN predictions and show that violations of this function correlate with high prediction errors. As the checksum function depends only on the NN predictions, we can calculate the checksum error for any prediction with a single forward pass, incurring negligible time and memory costs. Additionally, we find that incorporating the checksum function into the loss function and exposing the NN to OOD data points during the training process improves separation between ID and OOD predictions. By applying soft checksums to a physically complex and high-dimensional non-local thermodynamic equilibrium atomic physics dataset, we show that a well-chosen threshold checksum error can effectively separate ID and OOD predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google