ViSIR: Vision Transformer Single Image Reconstruction Method for Earth System Models

要約

目的：地球システムモデル（ESM）大気、海、陸地、氷、生物圏の相互作用を統合して、さまざまな条件下で地域および世界の気候の状態を推定します。
ESMは非常に複雑であるため、深いニューラルネットワークアーキテクチャを使用して複雑さをモデル化し、ダウンサンプリングデータを保存します。
このホワイトペーパーでは、ESMデータの単一画像SR（SR）再構成タスクを改善するために、Vision Transformer Sinusoidal表現ネットワーク（VISIR）を提案します。
方法：Visirは、SR視力変圧器（VIT）のSR能力を組み合わせて、SRタスクで観察されるスペクトルバイアスに対処するために、正弦波表現ネットワーク（SIREN）の高周波詳細保存を組み合わせています。
結果：VISIRは、3つの異なる測定で平均7.1dB PSNR緩衝されたSR世代敵（SRガン）、SR世代の敵対的（SR-Gans）を4.1 dB、7.5 dB、Sr世代の敵対的（SR-Gans）よりも優れています。
結論：提案されたVISIRが評価され、最先端の方法と比較されます。
結果は、提案されたアルゴリズムが平均平方根誤差（MSE）、ピークシグナルからノイズへの比例（PSNR）、および構造類似性指数測定（SSIM）の観点から他の方法を上回っていることを示しています。

要約(オリジナル)

Purpose: Earth system models (ESMs) integrate the interactions of the atmosphere, ocean, land, ice, and biosphere to estimate the state of regional and global climate under a wide variety of conditions. The ESMs are highly complex, and thus, deep neural network architectures are used to model the complexity and store the down-sampled data. In this paper, we propose the Vision Transformer Sinusoidal Representation Networks (ViSIR) to improve the single image SR (SR) reconstruction task for the ESM data. Methods: ViSIR combines the SR capability of Vision Transformers (ViT) with the high-frequency detail preservation of the Sinusoidal Representation Network (SIREN) to address the spectral bias observed in SR tasks. Results: The ViSIR outperforms ViT by 4.1 dB, SIREN by 7.5 dB, and SR-Generative Adversarial (SR-GANs) by 7.1dB PSNR on average for three different measurements. Conclusion: The proposed ViSIR is evaluated and compared with state-of-the-art methods. The results show that the proposed algorithm is outperforming other methods in terms of Mean Square Error(MSE), Peak-Signal-to-Noise-Ratio(PSNR), and Structural Similarity Index Measure(SSIM).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google