Compressing multidimensional weather and climate data into neural networks

要約

タイトル：ニューラルネットワークによる多次元気象・気候データの圧縮

要約：
– 気象・気候シミュレーションによって生成される大量の高解像度データがあり、気候変動や過酷な天気を理解するために研究者が解析することがある。
– これらのデータを圧縮する新しい方法を提案している。
– 座標ベースのニューラルネットワークを訓練して、データに過剰適合させ、得られたパラメータを元のグリッドベースのデータのコンパクトな表現として使用する。
– 圧縮率は300xから3,000x以上で、重み付きRMSE、MAEの面で、現状最高の圧縮器SZ3を超える性能を示している。
– 重要な大規模な大気構造を正確に保持し、アーティファクトを導入しない。
– 圧縮されたデータとして得られたニューラルネットワークを、WeatherBench予測モデルのトレーニングに使用すると、RMSEが2％未満で増加する。
– 3桁の圧縮率は、高解像度の気候データへのアクセスを民主化し、多数の新しい研究方向を可能にする。

要約(オリジナル)

Weather and climate simulations produce petabytes of high-resolution data that are later analyzed by researchers in order to understand climate change or severe weather. We propose a new method of compressing this multidimensional weather and climate data: a coordinate-based neural network is trained to overfit the data, and the resulting parameters are taken as a compact representation of the original grid-based data. While compression ratios range from 300x to more than 3,000x, our method outperforms the state-of-the-art compressor SZ3 in terms of weighted RMSE, MAE. It can faithfully preserve important large scale atmosphere structures and does not introduce artifacts. When using the resulting neural network as a 790x compressed dataloader to train the WeatherBench forecasting model, its RMSE increases by less than 2%. The three orders of magnitude compression democratizes access to high-resolution climate data and enables numerous new research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI