Strategies for Pretraining Neural Operators

要約

偏微分方程式 (PDE) モデリングの事前トレーニングは、一般化性とパフォーマンスを向上させるためにデータセット全体でニューラル演算子をスケーリングするのに有望であることが最近示されました。
これらの進歩にもかかわらず、事前トレーニングがニューラル オペレーターにどのような影響を与えるかについての理解はまだ限られています。
研究では一般に、カスタマイズされたアーキテクチャとデータセットが提案されているため、さまざまな事前トレーニング フレームワークを比較または検討することが困難になります。
これに対処するために、アーキテクチャの選択を最適化することなくさまざまな事前トレーニング方法を比較し、さまざまなモデルやデータセットでの事前トレーニングのダイナミクスを特徴付け、そのスケーリングと一般化の動作を理解します。
事前トレーニングはモデルとデータセットの選択に大きく依存しますが、一般に転移学習または物理ベースの事前トレーニング戦略が最も効果的であることがわかりました。
さらに、データ拡張を使用することで、事前トレーニングのパフォーマンスをさらに向上させることができます。
最後に、事前トレーニングは、希少なデータ領域で微調整する場合、または事前トレーニング分布と同様の下流データに一般化する場合にさらに有益です。
物理予測のためのニューラル オペレーターの事前トレーニングに関する洞察を提供することで、偏微分方程式の事前トレーニング方法の開発と評価における将来の作業の動機付けになればと考えています。

要約(オリジナル)

Pretraining for partial differential equation (PDE) modeling has recently shown promise in scaling neural operators across datasets to improve generalizability and performance. Despite these advances, our understanding of how pretraining affects neural operators is still limited; studies generally propose tailored architectures and datasets that make it challenging to compare or examine different pretraining frameworks. To address this, we compare various pretraining methods without optimizing architecture choices to characterize pretraining dynamics on different models and datasets as well as to understand its scaling and generalization behavior. We find that pretraining is highly dependent on model and dataset choices, but in general transfer learning or physics-based pretraining strategies work best. In addition, pretraining performance can be further improved by using data augmentations. Lastly, pretraining can be additionally beneficial when fine-tuning in scarce data regimes or when generalizing to downstream data similar to the pretraining distribution. Through providing insights into pretraining neural operators for physics prediction, we hope to motivate future work in developing and evaluating pretraining methods for PDEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google