DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning

要約

我々は、多様な関数データを使用して分散ニューラル オペレーターをトレーニングし、その後下流タスクの物理学に基づいた損失を使用してニューラル ネットワークをゼロショット微調整することで、マルチオペレーター学習を実現する新しい微調整方法を提案します。
演算子の学習は、偏微分方程式およびさまざまな偏微分方程式関連問題の解演算子を効果的に近似しますが、新しいタスクに一般化するのに苦労することがよくあります。
これに対処するために、最小限のデータで新しいタスクに迅速に適応できる初期化を慎重に選択しながら、事前トレーニングされたモデルの微調整を調査します。
私たちのアプローチは、分散学習を組み合わせて事前トレーニングでさまざまなオペレーターからのデータを統合すると同時に、物理学に基づいた手法によりゼロショット微調整を可能にし、下流データへの依存を最小限に抑えます。
標準的な微調整と低ランク適応の微調整を調査し、両方を適用して、ランダムな初期化のみを使用して学習するだけでは困難な複雑な非線形ターゲット オペレーターを訓練します。
包括的な数値例を通じて、私たちのアプローチの利点を実証し、精度の大幅な向上を示します。
私たちの発見は、マルチオペレーター学習を進めるための堅牢なフレームワークを提供し、この領域における転移学習技術の可能性を強調しています。

要約(オリジナル)

We propose a novel fine-tuning method to achieve multi-operator learning through training a distributed neural operator with diverse function data and then zero-shot fine-tuning the neural network using physics-informed losses for downstream tasks. Operator learning effectively approximates solution operators for PDEs and various PDE-related problems, yet it often struggles to generalize to new tasks. To address this, we investigate fine-tuning a pretrained model, while carefully selecting an initialization that enables rapid adaptation to new tasks with minimal data. Our approach combines distributed learning to integrate data from various operators in pre-training, while physics-informed methods enable zero-shot fine-tuning, minimizing the reliance on downstream data. We investigate standard fine-tuning and Low-Rank Adaptation fine-tuning, applying both to train complex nonlinear target operators that are difficult to learn only using random initialization. Through comprehensive numerical examples, we demonstrate the advantages of our approach, showcasing significant improvements in accuracy. Our findings provide a robust framework for advancing multi-operator learning and highlight the potential of transfer learning techniques in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google