Interpreting and generalizing deep learning in physics-based problems with functional linear models

要約

ディープラーニングはさまざまな科学機械学習アプリケーションで目覚ましい成功を収めていますが、その不透明な性質により、トレーニング データを超えた解釈可能性と一般化機能に関して懸念が生じています。
解釈可能性は非常に重要であり、物理システムのモデリングではしばしば望まれます。
さらに、入力特徴の全範囲を網羅する広範なデータセットを取得することは、多くの物理ベースの学習タスクにおいて困難であり、分布外 (OOD) データに遭遇した場合のエラーの増加につながります。
この研究では、機能データ分析 (FDA) の分野を動機として、トレーニングされた深層学習モデルの解釈可能な代用として一般化関数線形モデルを提案します。
私たちは、トレーニングされたニューラル ネットワーク (事後解釈) に基づいて、またはトレーニング データから直接 (解釈可能なオペレーター学習) のいずれかでモデルをトレーニングできることを示します。
さまざまなカーネル関数を備えた一般化関数線形モデルのライブラリが考慮され、スパース回帰を使用して、分析的に提示できる解釈可能な代理モデルが発見されます。
固体力学、流体力学、輸送分野のテスト ケースを紹介します。
私たちの結果は、私たちのモデルが深層学習と同等の精度を達成でき、透明性と解釈可能性を高めながら OOD の一般化を改善できることを示しています。
私たちの研究は、科学機械学習における解釈可能な表現の重要性を強調し、深層学習を解釈して一般化するためのツールとしての関数線形モデルの可能性を示しています。

要約(オリジナル)

Although deep learning has achieved remarkable success in various scientific machine learning applications, its opaque nature poses concerns regarding interpretability and generalization capabilities beyond the training data. Interpretability is crucial and often desired in modeling physical systems. Moreover, acquiring extensive datasets that encompass the entire range of input features is challenging in many physics-based learning tasks, leading to increased errors when encountering out-of-distribution (OOD) data. In this work, motivated by the field of functional data analysis (FDA), we propose generalized functional linear models as an interpretable surrogate for a trained deep learning model. We demonstrate that our model could be trained either based on a trained neural network (post-hoc interpretation) or directly from training data (interpretable operator learning). A library of generalized functional linear models with different kernel functions is considered and sparse regression is used to discover an interpretable surrogate model that could be analytically presented. We present test cases in solid mechanics, fluid mechanics, and transport. Our results demonstrate that our model can achieve comparable accuracy to deep learning and can improve OOD generalization while providing more transparency and interpretability. Our study underscores the significance of interpretable representation in scientific machine learning and showcases the potential of functional linear models as a tool for interpreting and generalizing deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google