A Comparative Study on Generative Models for High Resolution Solar Observation Imaging

要約

タイトル：高解像度太陽観測イメージの生成モデルの比較研究

要約：

– 太陽活動は、太陽系の多様性の主要なドライバーであり、地球と近地球空間に影響を与える宇宙天気現象の主要な原因です。
– Solar Dynamics Observatory (SDO)からの高解像度極端紫外線（EUV）観測の詳細な記録は、太陽画像の非常に大きいデータセットを提供しています。この包括的なデータセットを使用して、現在の最先端の生成モデルの能力を調べ、観測された太陽活動状態の背後のデータ分布を正確に捕捉することを目的としています。
– StyleGANベースの手法から始めて、高解像度のサンプルをトレーニングする場合、太陽画像の細かなスケールの詳細を処理する際にこのモデルファミリーの重大な欠陥を明らかにしました。
– 拡散ベースの生成モデルファミリーに切り替えると、細かいスケールの詳細生成の強力な改善が観察されました。
– GANファミリーでは、マルチスケールディスクリミネーターを持つプリトレーニングされた凍結機能抽出器を使用するProjectedGANsに切り替えることで、細かなスケールの生成で類似した改善を実現できました。
– 適切な細目の処理に責任があるメカニズムを明確にするためにablation研究を実施しました。
– スーパーコンピューターでの分散トレーニングを使用することで、1024×1024解像度までの生成モデルをトレーニングして、評価で示されたように人間の専門家と区別がつかない高品質のサンプルを生成できました。
– この研究で使用されたコード、モデル、ワークフローをすべて\url{https://github.com/SLAMPAI/generative-models-for-highres-solar-images}で公開しました。

要約(オリジナル)

Solar activity is one of the main drivers of variability in our solar system and the key source of space weather phenomena that affect Earth and near Earth space. The extensive record of high resolution extreme ultraviolet (EUV) observations from the Solar Dynamics Observatory (SDO) offers an unprecedented, very large dataset of solar images. In this work, we make use of this comprehensive dataset to investigate capabilities of current state-of-the-art generative models to accurately capture the data distribution behind the observed solar activity states. Starting from StyleGAN-based methods, we uncover severe deficits of this model family in handling fine-scale details of solar images when training on high resolution samples, contrary to training on natural face images. When switching to the diffusion based generative model family, we observe strong improvements of fine-scale detail generation. For the GAN family, we are able to achieve similar improvements in fine-scale generation when turning to ProjectedGANs, which uses multi-scale discriminators with a pre-trained frozen feature extractor. We conduct ablation studies to clarify mechanisms responsible for proper fine-scale handling. Using distributed training on supercomputers, we are able to train generative models for up to 1024×1024 resolution that produce high quality samples indistinguishable to human experts, as suggested by the evaluation we conduct. We make all code, models and workflows used in this study publicly available at \url{https://github.com/SLAMPAI/generative-models-for-highres-solar-images}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI