Kolmogorov n-Widths for Multitask Physics-Informed Machine Learning (PIML) Methods: Towards Robust Metrics

要約

偏微分方程式 (PDE) を解く手段としての物理情報に基づく機械学習 (PIML) は、計算科学および工学 (CS&E) の世界で大きな注目を集めています。
このトピックには、マルチタスク学習と呼ばれる、単一または一連の PDE 問題を解決することを目的とした幅広い方法とモデルが含まれます。
PIML の特徴は、PDE 問題を解く際に、大規模なデータの代わりに機械学習モデルのトレーニング プロセスに物理法則を組み込むことです。
この一連の手法は全体的に成功しているにもかかわらず、分析、ベンチマーク、および一般に 1 つの手法を別の手法と比較することは依然として信じられないほど困難です。
近似関数の有効性の尺度としてコルモゴロフの n 幅を使用し、このメトリックをさまざまなマルチタスク PIML アーキテクチャの比較に慎重に適用します。
精度の下限を計算し、さまざまな PDE 問題についてモデルの学習された基底関数を分析します。
これは、マルチタスク PIML アーキテクチャを比較するための最初の客観的な指標であり、選択的サンプリングと過剰適合によるモデル検証の不確実性を取り除くのに役立ちます。
また、活性化関数の選択など、モデル アーキテクチャの改善方法も特定します。これは、タスク固有のエラーを報告する場合には観察されない、「最悪の」シナリオへのモデルの一般化に大きく影響する可能性があります。
また、正則化を通じてこのメトリクスを最適化プロセスに組み込むことで、マルチタスク PDE 問題に対するモデルの一般化可能性が向上します。

要約(オリジナル)

Physics-informed machine learning (PIML) as a means of solving partial differential equations (PDE) has garnered much attention in the Computational Science and Engineering (CS&E) world. This topic encompasses a broad array of methods and models aimed at solving a single or a collection of PDE problems, called multitask learning. PIML is characterized by the incorporation of physical laws into the training process of machine learning models in lieu of large data when solving PDE problems. Despite the overall success of this collection of methods, it remains incredibly difficult to analyze, benchmark, and generally compare one approach to another. Using Kolmogorov n-widths as a measure of effectiveness of approximating functions, we judiciously apply this metric in the comparison of various multitask PIML architectures. We compute lower accuracy bounds and analyze the model’s learned basis functions on various PDE problems. This is the first objective metric for comparing multitask PIML architectures and helps remove uncertainty in model validation from selective sampling and overfitting. We also identify avenues of improvement for model architectures, such as the choice of activation function, which can drastically affect model generalization to ‘worst-case’ scenarios, which is not observed when reporting task-specific errors. We also incorporate this metric into the optimization process through regularization, which improves the models’ generalizability over the multitask PDE problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google