Streamlining Ocean Dynamics Modeling with Fourier Neural Operators: A Multiobjective Hyperparameter and Architecture Optimization Approach

要約

海洋プロセスを学習するための効果的な深層学習モデルをトレーニングするには、さまざまなハイパーパラメーターを慎重に選択する必要があります。
スケーラブルなハイパーパラメータ最適化ソフトウェアである DeepHyper の多目的最適化のための高度な検索アルゴリズムを活用して、海洋モデリングに合わせたニューラル ネットワークの開発を合理化します。
焦点は、複雑な海洋挙動をシミュレートできるデータ駆動型モデルであるフーリエ ニューラル オペレーター (FNO) の最適化にあります。
正しいモデルの選択とハイパーパラメーターの調整は困難な作業であり、モデルの精度を確保するには多大な労力が必要です。
DeepHyper を使用すると、データの前処理に関連するハイパーパラメータ、FNO アーキテクチャ関連のハイパーパラメータ、およびさまざまなモデル トレーニング戦略を効率的に探索できます。
私たちは、最もパフォーマンスの高いモデルにつながる最適なハイパーパラメータのセットを取得することを目指しています。
さらに、モデルのトレーニングに一般的に使用される平均二乗誤差に加えて、モデルのパフォーマンスを向上させ、2 つの項間の潜在的なトレードオフを調査するために、追加の損失項として負の異常相関係数を採用することを提案します。
実験結果は、ハイパーパラメーターの最適なセットにより、単一タイムステップ予測でモデルのパフォーマンスが向上し、最大 30 日間の長期予測の自己回帰ロールアウトでベースライン構成を大幅に上回ったことが示されています。
DeepHyper を利用して、海洋力学予測における FNO の使用を強化し、精度が向上したスケーラブルなソリューションを提供するアプローチを実証します。

要約(オリジナル)

Training an effective deep learning model to learn ocean processes involves careful choices of various hyperparameters. We leverage the advanced search algorithms for multiobjective optimization in DeepHyper, a scalable hyperparameter optimization software, to streamline the development of neural networks tailored for ocean modeling. The focus is on optimizing Fourier neural operators (FNOs), a data-driven model capable of simulating complex ocean behaviors. Selecting the correct model and tuning the hyperparameters are challenging tasks, requiring much effort to ensure model accuracy. DeepHyper allows efficient exploration of hyperparameters associated with data preprocessing, FNO architecture-related hyperparameters, and various model training strategies. We aim to obtain an optimal set of hyperparameters leading to the most performant model. Moreover, on top of the commonly used mean squared error for model training, we propose adopting the negative anomaly correlation coefficient as the additional loss term to improve model performance and investigate the potential trade-off between the two terms. The experimental results show that the optimal set of hyperparameters enhanced model performance in single timestepping forecasting and greatly exceeded the baseline configuration in the autoregressive rollout for long-horizon forecasting up to 30 days. Utilizing DeepHyper, we demonstrate an approach to enhance the use of FNOs in ocean dynamics forecasting, offering a scalable solution with improved precision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google