Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks

要約

材料科学におけるデータ駆動型アプローチや機械学習ベースの手法の利用が増加する中、情報に基づいた意思決定のための予測変数の信頼性の高い不確かさ定量化（UQ）の重要性は、いくら強調してもし過ぎることはない。材料特性予測におけるUQは、先端材料のマルチスケールおよびマルチフィジックスの性質、多数の要因間の複雑な相互作用、モデルトレーニングのための大規模なデータセットの限られた利用可能性など、ユニークな課題を提起している。近年、ベイジアンニューラルネットワーク（BNN）がUQの有望なアプローチとして浮上しており、ニューラルネットワーク内の不確実性を捕捉するための確率論的枠組みを提供している。本研究では、物理情報BNNにおけるUQのためのアプローチを紹介する。このアプローチは、物理的に整合性のある予測に向けてモデルを導くために、材料モデリングにおける支配法則からの知識を統合するものである。このアプローチの有効性を評価するために、鋼合金のクリープ破断寿命予測のケーススタディを行う。クリープ試験から収集した測定値の3つのデータセットを用いた実験的検証により、BNNが従来手法であるガウス過程回帰の性能に匹敵するか、それを上回る正確な点と不確かさの推定値を生成する能力を実証した。同様に、能動学習アプリケーションにおけるUQに対するBNNの適合性を評価し、競争力のある性能を報告した。クリープ寿命予測に最も有望なフレームワークは、ネットワークパラメータの事後分布のマルコフ連鎖モンテカルロ近似に基づくBNNであり、変分推論近似に基づくBNNや確率的出力を持つ関連NNと比較して、より信頼性の高い結果を提供した。コードはhttps://github.com/avakanski/Creep-uncertainty-quantification。

要約(オリジナル)

With the increased use of data-driven approaches and machine learning-based methods in material science, the importance of reliable uncertainty quantification (UQ) of the predicted variables for informed decision-making cannot be overstated. UQ in material property prediction poses unique challenges, including the multi-scale and multi-physics nature of advanced materials, intricate interactions between numerous factors, limited availability of large curated datasets for model training, etc. Recently, Bayesian Neural Networks (BNNs) have emerged as a promising approach for UQ, offering a probabilistic framework for capturing uncertainties within neural networks. In this work, we introduce an approach for UQ within physics-informed BNNs, which integrates knowledge from governing laws in material modeling to guide the models toward physically consistent predictions. To evaluate the effectiveness of this approach, we present case studies for predicting the creep rupture life of steel alloys. Experimental validation with three datasets of collected measurements from creep tests demonstrates the ability of BNNs to produce accurate point and uncertainty estimates that are competitive or exceed the performance of the conventional method of Gaussian Process Regression. Similarly, we evaluated the suitability of BNNs for UQ in an active learning application and reported competitive performance. The most promising framework for creep life prediction is BNNs based on Markov Chain Monte Carlo approximation of the posterior distribution of network parameters, as it provided more reliable results in comparison to BNNs based on variational inference approximation or related NNs with probabilistic outputs. The codes are available at: https://github.com/avakanski/Creep-uncertainty-quantification.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL