SeisCLIP: A seismology foundation model pre-trained by multi-modal data for multi-purpose seismic feature extraction

要約

特定のタスクに合わせて特定の深層学習モデルをトレーニングすることは、地震学のさまざまな分野で一般的です。
ただし、このアプローチには 2 つの制限があります。それは、特定のタスクに対してラベル付けされたデータが不十分であることと、地域全体での一般化が限られていることです。
これらの課題に対処するために、私たちは、マルチモーダル データからの対照学習を通じて訓練された地震学の基礎モデルである SeisCLIP を開発しました。
これは、時間周波数地震スペクトルから重要な特徴を抽出するための変換エンコーダと、同じイベントの位相と震源情報を統合するための MLP エンコーダで構成されます。
これらのエンコーダーは広大なデータセットで共同で事前トレーニングされ、スペクトル エンコーダーはその後、さまざまな下流タスクに合わせて小さなデータセットで微調整されます。
特に、SeisCLIP のパフォーマンスは、さまざまな地域からの個別のデータセットを使用した、イベント分類、位置特定、発震機構解析タスクにおいてベースライン手法のパフォーマンスを上回っています。
結論として、seisCLIP は地震学の分野における基礎モデルとして大きな可能性を秘めており、基礎モデルに基づく地震学研究における革新的な方向への道を切り開きます。

要約(オリジナル)

Training specific deep learning models for particular tasks is common across various domains within seismology. However, this approach encounters two limitations: inadequate labeled data for certain tasks and limited generalization across regions. To address these challenges, we develop SeisCLIP, a seismology foundation model trained through contrastive learning from multi-modal data. It consists of a transformer encoder for extracting crucial features from time-frequency seismic spectrum and an MLP encoder for integrating the phase and source information of the same event. These encoders are jointly pre-trained on a vast dataset and the spectrum encoder is subsequently fine-tuned on smaller datasets for various downstream tasks. Notably, SeisCLIP’s performance surpasses that of baseline methods in event classification, localization, and focal mechanism analysis tasks, employing distinct datasets from different regions. In conclusion, SeisCLIP holds significant potential as a foundational model in the field of seismology, paving the way for innovative directions in foundation-model-based seismology research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google