Multifidelity linear regression for scientific machine learning from scarce data

要約

特定のパラメーター化されたモデル クラスのパラメーターをデータに適合させる機械学習 (ML) 手法は、従来のシミュレーションが高価であった複雑なエンジニアリング システムの代理モデルを学習するための潜在的な手法として大きな関心を集めています。
ただし、多くの科学および工学の設定では、ML モデルのトレーニングに使用する忠実度の高いデータの生成に費用がかかり、トレーニング データの生成に利用できる予算は限られています。
結果として得られる希少な高忠実度データに基づいてトレーニングされた ML モデルは、分散が大きく、トレーニング データセットの変動の影響を受けやすくなります。
私たちは、さまざまな忠実度やコストのデータが利用できる科学的コンテキストを活用した、科学的機械学習のための新しい多重忠実度トレーニング アプローチを提案します。
たとえば、高忠実度のデータは高価な完全に分解された物理シミュレーションによって生成される場合がありますが、低忠実度のデータは単純化された仮定に基づいた安価なモデルから生成される場合があります。
多重忠実度データを使用して、線形回帰モデルの未知のパラメーターに対する新しい多重忠実度モンテカルロ推定量を定義し、アプローチの精度と少ないトレーニング予算に対する堅牢性の向上を保証する理論的分析を提供します。
数値結果は理論分析を検証し、希少な高忠実度データと追加の低忠実度データでトレーニングされた多重忠実度学習モデルは、同等のコストの高忠実度データのみでトレーニングされた標準モデルよりも桁違いに低いモデル分散を達成することを示しています。
これは、データが不足している状況では、多重忠実度トレーニング戦略により、標準的なトレーニング アプローチよりも予想誤差が低いモデルが得られることを示しています。

要約(オリジナル)

Machine learning (ML) methods, which fit to data the parameters of a given parameterized model class, have garnered significant interest as potential methods for learning surrogate models for complex engineering systems for which traditional simulation is expensive. However, in many scientific and engineering settings, generating high-fidelity data on which to train ML models is expensive, and the available budget for generating training data is limited. ML models trained on the resulting scarce high-fidelity data have high variance and are sensitive to vagaries of the training data set. We propose a new multifidelity training approach for scientific machine learning that exploits the scientific context where data of varying fidelities and costs are available; for example high-fidelity data may be generated by an expensive fully resolved physics simulation whereas lower-fidelity data may arise from a cheaper model based on simplifying assumptions. We use the multifidelity data to define new multifidelity Monte Carlo estimators for the unknown parameters of linear regression models, and provide theoretical analyses that guarantee the approach’s accuracy and improved robustness to small training budgets. Numerical results verify the theoretical analysis and demonstrate that multifidelity learned models trained on scarce high-fidelity data and additional low-fidelity data achieve order-of-magnitude lower model variance than standard models trained on only high-fidelity data of comparable cost. This illustrates that in the scarce data regime, our multifidelity training strategy yields models with lower expected error than standard training approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google