An operator preconditioning perspective on training in physics-informed machine learning

要約

この論文では、偏微分方程式 (PDE) に関連する残差を最小化する PINN のような物理情報に基づいた機械学習手法における勾配降下法アルゴリズムの動作を調査します。
私たちの主な結果は、これらのモデルのトレーニングの難しさは、特定の微分演算子の条件付けに密接に関連しているということです。
この演算子は、基礎となる偏微分方程式の微分演算子のエルミート二乗に関連付けられます。
このオペレーターのコンディションが悪い場合、トレーニングが遅くなるか、実行不可能になります。
したがって、この演算子の事前条件付けが重要です。
私たちは、厳密な数学的分析と経験的評価の両方を使用してさまざまな戦略を調査し、この重要なオペレーターの状態をより良く調整し、その結果トレーニングを改善する方法を説明します。

要約(オリジナル)

In this paper, we investigate the behavior of gradient descent algorithms in physics-informed machine learning methods like PINNs, which minimize residuals connected to partial differential equations (PDEs). Our key result is that the difficulty in training these models is closely related to the conditioning of a specific differential operator. This operator, in turn, is associated to the Hermitian square of the differential operator of the underlying PDE. If this operator is ill-conditioned, it results in slow or infeasible training. Therefore, preconditioning this operator is crucial. We employ both rigorous mathematical analysis and empirical evaluations to investigate various strategies, explaining how they better condition this critical operator, and consequently improve training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google