Investigating Deep Learning Model Calibration for Classification Problems in Mechanics

要約

最近、機械学習の手法を工学力学の問題に適用することに関心が高まっています。
特に、深層学習技術を不均一な材料や構造の機械的挙動の予測に適用することに大きな関心が寄せられています。
研究者は、人工複合材料から幾何学的に複雑なメタマテリアル、異種の生体組織に至るまで、深層学習手法が低誤差で機械的挙動を効果的に予測できることを示しています。
ただし、深層学習モデルのキャリブレーション、つまり結果の予測確率と結果の真の確率との一致には、比較的ほとんど注意が払われていません。
この作業では、機械的な問題の 3 つの異なるタイプをカバーする 7 つのオープン アクセス エンジニアリング力学データセット全体で ML モデルのキャリブレーションに関する包括的な調査を行います。
具体的には、複数の機械学習手法のモデルとモデル キャリブレーション エラーの両方を評価し、アンサンブル平均化と温度スケーリングによる事後モデル キャリブレーションの影響を調査します。
全体として、深層ニューラル ネットワークのアンサンブル平均化は、モデルのキャリブレーションを改善するための効果的かつ一貫したツールであることがわかりましたが、温度スケーリングの利点は比較的限られています。
将来的には、この調査が、深層学習モデルのキャリブレーションに対する力学固有のアプローチを開発するための将来の作業の基礎を築くことを期待しています。

要約(オリジナル)

Recently, there has been a growing interest in applying machine learning methods to problems in engineering mechanics. In particular, there has been significant interest in applying deep learning techniques to predicting the mechanical behavior of heterogeneous materials and structures. Researchers have shown that deep learning methods are able to effectively predict mechanical behavior with low error for systems ranging from engineered composites, to geometrically complex metamaterials, to heterogeneous biological tissue. However, there has been comparatively little attention paid to deep learning model calibration, i.e., the match between predicted probabilities of outcomes and the true probabilities of outcomes. In this work, we perform a comprehensive investigation into ML model calibration across seven open access engineering mechanics datasets that cover three distinct types of mechanical problems. Specifically, we evaluate both model and model calibration error for multiple machine learning methods, and investigate the influence of ensemble averaging and post hoc model calibration via temperature scaling. Overall, we find that ensemble averaging of deep neural networks is both an effective and consistent tool for improving model calibration, while temperature scaling has comparatively limited benefits. Looking forward, we anticipate that this investigation will lay the foundation for future work in developing mechanics specific approaches to deep learning model calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google