CA-MoE: Channel-Adapted MoE for Incremental Weather Forecasting

要約

大気科学は、地理学や航空宇宙学など他の分野と複雑に関連している。既存のアプローチのほとんどは、大気と地理を統合したモデルをゼロから学習させるものであり、多大な計算コストがかかるだけでなく、異なる領域にわたる気象変数の漸進的学習の可能性を見落としている。本論文では、気象予測に漸進的学習を導入し、モデル内の変数を柔軟に拡張できる新しい構造を提案する。具体的には、我々の手法は、分割統治戦略を採用したチャンネル適応型MoE（CA-MoE）を提示する。この戦略では、インデックス埋め込みによって変数の学習タスクを異なる専門家に割り当て、チャネル単位のTop-K戦略によって計算複雑度を低減する。広く利用されているERA5データセットを用いて行った実験により、我々の手法は、インクリメンタル段階で学習可能なパラメータの約15%のみを利用することで、最先端の競合技術と同等の性能を達成することが明らかになった。特筆すべきは、可変インクリメンタル実験において、本方法は壊滅的忘却の問題を無視できることである。

要約(オリジナル)

Atmospheric science is intricately connected with other fields, e.g., geography and aerospace. Most existing approaches involve training a joint atmospheric and geographic model from scratch, which incurs significant computational costs and overlooks the potential for incremental learning of weather variables across different domains. In this paper, we introduce incremental learning to weather forecasting and propose a novel structure that allows for the flexible expansion of variables within the model. Specifically, our method presents a Channel-Adapted MoE (CA-MoE) that employs a divide-and-conquer strategy. This strategy assigns variable training tasks to different experts by index embedding and reduces computational complexity through a channel-wise Top-K strategy. Experiments conducted on the widely utilized ERA5 dataset reveal that our method, utilizing only approximately 15\% of trainable parameters during the incremental stage, attains performance that is on par with state-of-the-art competitors. Notably, in the context of variable incremental experiments, our method demonstrates negligible issues with catastrophic forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL