Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks

要約

材料科学におけるデータ駆動型のアプローチや機械学習ベースの手法の使用が増えるにつれ、情報に基づいた意思決定のための予測変数の信頼できる不確実性定量化 (UQ) の重要性は、どれだけ強調してもしすぎることはありません。
材料特性予測における UQ は、先端材料のマルチスケールおよびマルチフィジックスの性質、多数の要素間の複雑な相互作用、モデルトレーニング用に厳選された大規模なデータセットの利用制限など、独特の課題を引き起こします。最近、ベイジアン ニューラル ネットワーク (BNN) は、
UQ にとって有望なアプローチとして浮上し、ニューラル ネットワーク内の不確実性を捉えるための確率論的なフレームワークを提供します。
この研究では、物理情報に基づいた BNN 内での UQ のアプローチを紹介します。これは、材料モデリングの支配法則からの知識を統合して、物理的に一貫した予測に向けてモデルを導きます。
このアプローチの有効性を評価するために、合金鋼のクリープ破断寿命を予測するためのケーススタディを紹介します。
クリープ試験から収集した測定値の 3 つのデータセットを用いた実験的検証により、従来のガウス過程回帰法のパフォーマンスに匹敵する、またはそれを超える正確な点および不確実性の推定値を生成する BNN の能力が実証されました。
同様に、アクティブ ラーニング アプリケーションにおける UQ に対する BNN の適合性を評価し、競争力のあるパフォーマンスを報告しました。
クリープ寿命予測の最も有望なフレームワークは、ネットワーク パラメーターの事後分布のマルコフ連鎖モンテカルロ近似に基づく BNN です。これは、変分推論近似に基づく BNN や確率的出力を備えた関連 NN と比較して、より信頼性の高い結果が得られるためです。
コードは https://github.com/avakanski/Creep-uncertainty-quantification で入手できます。

要約(オリジナル)

With the increased use of data-driven approaches and machine learning-based methods in material science, the importance of reliable uncertainty quantification (UQ) of the predicted variables for informed decision-making cannot be overstated. UQ in material property prediction poses unique challenges, including the multi-scale and multi-physics nature of advanced materials, intricate interactions between numerous factors, limited availability of large curated datasets for model training, etc. Recently, Bayesian Neural Networks (BNNs) have emerged as a promising approach for UQ, offering a probabilistic framework for capturing uncertainties within neural networks. In this work, we introduce an approach for UQ within physics-informed BNNs, which integrates knowledge from governing laws in material modeling to guide the models toward physically consistent predictions. To evaluate the effectiveness of this approach, we present case studies for predicting the creep rupture life of steel alloys. Experimental validation with three datasets of collected measurements from creep tests demonstrates the ability of BNNs to produce accurate point and uncertainty estimates that are competitive or exceed the performance of the conventional method of Gaussian Process Regression. Similarly, we evaluated the suitability of BNNs for UQ in an active learning application and reported competitive performance. The most promising framework for creep life prediction is BNNs based on Markov Chain Monte Carlo approximation of the posterior distribution of network parameters, as it provided more reliable results in comparison to BNNs based on variational inference approximation or related NNs with probabilistic outputs. The codes are available at: https://github.com/avakanski/Creep-uncertainty-quantification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google