CoLoRA: Continuous low-rank adaptation for reduced implicit neural modeling of parameterized partial differential equations

要約

この研究では、連続低ランク適応 (CoLoRA) に基づく縮小モデルを導入しています。これは、与えられた偏微分方程式に対してニューラル ネットワークを事前トレーニングし、その後、低ランクの重みを適時に継続的に適応させて、新しい物理パラメーターと新しい物理パラメーターでの解場の展開を迅速に予測します。
初期条件。
適応は、純粋にデータ駆動型で行うことも、ガラーキン最適近似を提供する方程式駆動型の変分アプローチを介して行うこともできます。
CoLoRA は時間内に局所的に解フィールドを近似するため、重みのランクを小さく保つことができます。これは、CoLoRA がデータ不足の状況に適しているように、オフラインで必要なトレーニング軌跡がほとんどないことを意味します。
CoLoRA による予測は、従来の方法よりも桁違いに高速であり、その精度とパラメーター効率は他のニューラル ネットワーク アプローチと比較して高くなります。

要約(オリジナル)

This work introduces reduced models based on Continuous Low Rank Adaptation (CoLoRA) that pre-train neural networks for a given partial differential equation and then continuously adapt low-rank weights in time to rapidly predict the evolution of solution fields at new physics parameters and new initial conditions. The adaptation can be either purely data-driven or via an equation-driven variational approach that provides Galerkin-optimal approximations. Because CoLoRA approximates solution fields locally in time, the rank of the weights can be kept small, which means that only few training trajectories are required offline so that CoLoRA is well suited for data-scarce regimes. Predictions with CoLoRA are orders of magnitude faster than with classical methods and their accuracy and parameter efficiency is higher compared to other neural network approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google