AstroCLIP: Cross-Modal Pre-Training for Astronomical Foundation Models

要約

我々は、多様な観測モダリティ間のギャップを埋める天文基盤モデルの構築を容易にする戦略、AstroCLIP を紹介します。
我々は、銀河の画像と光学スペクトル間のクロスモーダル対比学習アプローチにより、両方のモダリティの非常に有益な埋め込みが得られることを実証します。
特に、ダークエネルギー分光装置 (DESI) からのマルチバンド画像と光学スペクトルにこの方法を適用し、次のことを示します。 (1) これらの埋め込みはモダリティ間で適切に調整されており、正確なクロスモーダル検索に使用できます。
(2) これらの埋め込みは、銀河に関する貴重な物理情報、特に赤方偏移と星の質量をエンコードしており、これを使用すると、さらに微調整することなく、競争力のあるゼロショットおよび少数ショットの予測を達成できます。
さらに、アプローチを開発する過程で、銀河スペクトルを処理するための新しいトランスフォーマーベースのモデルと事前学習アプローチも構築します。

要約(オリジナル)

We present AstroCLIP, a strategy to facilitate the construction of astronomical foundation models that bridge the gap between diverse observational modalities. We demonstrate that a cross-modal contrastive learning approach between images and optical spectra of galaxies yields highly informative embeddings of both modalities. In particular, we apply our method on multi-band images and optical spectra from the Dark Energy Spectroscopic Instrument (DESI), and show that: (1) these embeddings are well-aligned between modalities and can be used for accurate cross-modal searches, and (2) these embeddings encode valuable physical information about the galaxies — in particular redshift and stellar mass — that can be used to achieve competitive zero- and few- shot predictions without further finetuning. Additionally, in the process of developing our approach, we also construct a novel, transformer-based model and pretraining approach for processing galaxy spectra.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google