Probabilistic Neural Networks (PNNs) for Modeling Aleatoric Uncertainty in Scientific Machine Learning

要約

この論文では、偶然性の不確実性をモデル化するための確率的ニューラル ネットワーク (PNN) の使用について調査します。偶然性の不確実性とは、不等分散や不均一分散によって特徴付けられる、システムの入出力関係における固有の変動性を指します。
決定論的な出力を生成する従来のニューラル ネットワークとは異なり、PNN はターゲット変数の確率分布を生成し、回帰シナリオで予測平均と区間の両方を決定で​​きるようにします。
この論文の貢献には、PNN アーキテクチャを最適化するための確率的距離メトリックの開発、制御されたデータセットでの PNN の展開、および繊維強化複合材料を含む実際の材料科学事例が含まれます。
この結果は、PNN が偶然の不確実性を効果的にモデル化することを裏付けており、この目的には一般的に使用されているガウス過程回帰よりも適切であることが証明されています。
具体的には、現実世界の科学機械学習のコンテキストでは、PNN は R 二乗スコアが 0.97 に近い非常に正確な出力平均推定値を生成し、その予測区間は 0.80 近くの高い相関係数を示し、観測されたデータ区間と厳密に一致します。
したがって、この研究は、ニューラル ネットワークの高度な表現能力を活用して科学的問題における複雑な入出力関係を描写するという継続的な探求に貢献します。

要約(オリジナル)

This paper investigates the use of probabilistic neural networks (PNNs) to model aleatoric uncertainty, which refers to the inherent variability in the input-output relationships of a system, often characterized by unequal variance or heteroscedasticity. Unlike traditional neural networks that produce deterministic outputs, PNNs generate probability distributions for the target variable, allowing the determination of both predicted means and intervals in regression scenarios. Contributions of this paper include the development of a probabilistic distance metric to optimize PNN architecture, and the deployment of PNNs in controlled data sets as well as a practical material science case involving fiber-reinforced composites. The findings confirm that PNNs effectively model aleatoric uncertainty, proving to be more appropriate than the commonly employed Gaussian process regression for this purpose. Specifically, in a real-world scientific machine learning context, PNNs yield remarkably accurate output mean estimates with R-squared scores approaching 0.97, and their predicted intervals exhibit a high correlation coefficient of nearly 0.80, closely matching observed data intervals. Hence, this research contributes to the ongoing exploration of leveraging the sophisticated representational capacity of neural networks to delineate complex input-output relationships in scientific problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google